Foxtable(狐表)用户栏目专家坐堂 → 考虑设计个通用网页数据采集工具,征集思路


  共有2913人关注过本帖树形打印复制链接

主题:考虑设计个通用网页数据采集工具,征集思路

帅哥哟,离线,有人找我吗?
ycli368
  1楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:四尾狐 帖子:989 积分:10366 威望:0 精华:0 注册:2012/12/11 14:25:00
考虑设计个通用网页数据采集工具,征集思路  发帖心情 Post By:2015/9/17 22:45:00 [只看该作者]

通过配置数据节点和表结构,实现网页数据通用采集

 回到顶部
帅哥哟,离线,有人找我吗?
ycli368
  2楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:四尾狐 帖子:989 积分:10366 威望:0 精华:0 注册:2012/12/11 14:25:00
  发帖心情 Post By:2015/9/18 19:42:00 [只看该作者]

没人吗

 回到顶部
帅哥哟,离线,有人找我吗?
sloyy
  3楼 | QQ | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:九尾狐 帖子:2180 积分:13804 威望:0 精华:2 注册:2012/2/25 10:59:00
  发帖心情 Post By:2015/9/18 22:16:00 [只看该作者]

没有思路,你设计什么,而且,目前狐表获取网页数据,都是在明确知道网页结构的情况下才能抓取的,你想设计通用的,那是不可能的
[此贴子已经被作者于2015/9/19 9:01:14编辑过]

 回到顶部
帅哥哟,离线,有人找我吗?
大红袍
  4楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:贵宾 帖子:39310 积分:196782 威望:0 精华:1 注册:2015/4/25 9:23:00
  发帖心情 Post By:2015/9/19 9:33:00 [只看该作者]

不可能通用。

 

1、网页的结构是不确定的,而且有可能编写不规范;

 

2、获取的方式是多样的,要根据结构而确定代码;

 

3、如果你要做,就智能分析html代码呗,反正我人工匹配的时候都觉得麻烦了。


 回到顶部