免费的网页数据采集软件
网页抓取，也称为网络数据提取或网页爬取，是指从网上获取数据，并将获取到的非结构化数据转化为结构化的数据，最终可以将数据存储到本地计算机或数据库的一种技术。
网页抓取是通过抓取软件实现的，当你在使用浏览器如Chorme浏览页面的时候，我们可以抓取的不仅仅是你所浏览的页面的数据，还有你浏览器本地的缓存（cookie）。是不是开始担心你的隐私了？是的，我也有这样的担心。
网页抓取的软件有很多，米扑博客上一篇介绍了《国内外主流数据采集软件汇总》，本文主要介绍一些免费的采集软件。
1. Beautiful Soup
Beautiful Soup是一个Python库，专门用于抓取HTML和XML文件。如果你的操作系统是Debian或者Ubuntu，你可以尝试安装这款免费软件。
2. Import.io
Import.io是一个免费的在线网页抓取软件，可以从网站中抓取数据并整理成数据集。它拥有很好的交互设计，使用起来非常方便。
3. Mozenda
Mozenda提供的数据提取工具可以很容易地抓取到来自网页的数据，即便没有键盘，只需要鼠标也能轻松操作。
4. ParseHub
ParseHub是一种可视化网页采集软件，可用于从网页中获取数据。它可以从不提供API的网站中轻松创建API。
5. Octoparse
Octoparse是Windows的提供的免费网页抓取软件。它可以将非结构化或半结构化的数据从网站中转化为一个结构化的数据集，整个过程无需编码，这对于不懂编程的人来说是非常有用的。
6. CrawlMonster
CrawlMonster是网站搜索引擎优化的一个免费的网络软件，它能够扫描各种不同的数据点的网站。
7. Connotate
Connotate提供自动化网络数据抓取解决方案，你只需要提供一个信息类型的模板，Connotate就可以为你自动抓取你想要的数据。
8. Common Crawl
Common Crawl提供抓取网站的公开数据集。它包含原始的网页数据，提取的元数据和文本信息。
9. Crawly
Crawly提供数据自动转换服务，能够将网页中的各种类型的数据转换成JSON或CSV格式的结构化数据。
10. Content Grabber
Content Grabber是面向企业的网页抓取软件，它允许你创建一个独立的网页抓取代理。
11. Diffbot
Diffbot是一款可以将结构化的数据自动生成为API的一款软件，对于开发者来说它是不错的工具。
12. Dexi.io
Dexi.io是一款专业的数据抓取软件，它同时提供数据清洗。这将是处理JavaScript的最佳选择。
13. Data Scraping Studio
Data Scraping Studio是一个免费的网页爬取软件，可以快速抓取HTML，XML和PDF格式的数据，目前PC端只适用于Windows操作系统。
14. Easy Web Extract
Easy Web Extract是用于商业用途的可视化网页抓取软件。该软件的独特功能是HTTP表单提交。
15. FMiner
fminer是一款可视化网页抓取软件，它允许你建立项目的宏记录，方便日后查询调用。
16. 米扑代理
米扑代理（proxy.mimvp.com）提供高可用的代理ip，自建代理服务器，99%可用，并有很多代理ip爬虫示例
参考推荐：
版权所有: 本文系米扑博客原创、转载、摘录，或修订后发表，最后更新于 2019-01-28 05:04:46
侵权处理: 本个人博客，不盈利，若侵犯了您的作品权，请联系博主删除，莫恶意，索钱财，感谢！
转载注明: 免费的网页数据采集软件 （米扑博客）