使用python的scrapy框架

Scrapy 是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。

其最初是为了 网络抓取 所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

python框架 selenium

自动化浏览器模拟交互框架。如果采集源的防采集策略做得太狠,无法用scrapy采集到内容,可以尝试使用selenium框架去做。模拟人类的浏览器操作去获取相关数据。自动化测试工具,另一方面也是采集内容工具。

使用采集软件八爪鱼

八爪鱼 不需要编写任何代码,完全的可视化操作,还有诸多已写好的采集模板可用。对于简单的采集源,小白用户来说,这个软件是非常不错的数据采集方式。快速定义,即时爬取。

轻量级的chrome扩展 Web Scraper

web scraper 是作为一个扩展的形式存在,快速抓取网页结构化内容,也是一个不错的选择。不需要自己编写代码,只需要定义好抓取的路径。

分类: 技术

0 条评论

发表评论

电子邮件地址不会被公开。