使用scrapy有大概半年了，算是有些经验吧，在这里讨论一下使用scrapy作为爬虫进行大规模抓取可能遇到的问题。我们抓取的目标是教育网上的网站（目前主要针对.edu.cn和.cas.cn/.cass.cn域名），这半年里抓取了百万以上的url，其实百万url的规模不算大，我们一直在改进系统，还没有开始全量的抓取。

如果想了解scrapy的话，推荐pluskid的 Scrapy轻松定制网络爬虫，写的很清晰。

关于scrapy涉及的一些不太容易解决的性能问题，请参考 Scrapy进行大规模抓取(2)

我们对scrapy的修改是基于0.9 stable的（写这篇文章时最新的release是0.10）。为了实现定制需求而进行的修改经常破坏了scrapy的代码结构，所以这里就不贴代码了，有兴趣的朋友可以留言或者邮件讨论。

首先说下scrapy的定位吧，我们看来它是为抓取单一网站上固定格式的内容而设计的，比如抓取一个小说网站上的小说或者抓取一个电子商务网站上的商品。好在scrapy结构清晰，可以很方便得修改它来实现更复杂的需求。要进行大规模的抓取，可能要修改scrapy以处理如下问题。

快速的 link extractor

python的SGMLParser实在是太慢了，使用SgmlLinkExtractor会让爬虫把大部分的时间都浪费在解析网页上，最好自己写一个link extractor（我们基于lxml写了一个，也可以用soup之类的库）。也可以用正则表达式来写link extractor，速度快，问题是不理解html语义，会把注释里的链接也包含进来。另外基于javascript重定向url也要在这里提取出来。

Spider Trap(?)

我们解决这个问题的方法比较暴力。因为spider trap一般是由动态网页实现的，所以我们最开始的方案就是先通过url是否包含”?”来判断一个网页是否是动态网页，然后取得不包含参数的url地址，对这个地址进行计数，设置一个阈值，超过阈值之后不再抓取。这个方案遇到的困扰在于很多网站开启了url rewrite，使得判别一个页面是否是动态页面很困难。现在的方法是把网页按照所引用的css文件进行聚类，通过控制类里最大能包含的网页数量防止爬虫进入trap后出不来，对不含css的网页会给一个penalty，限制它能产生的链接数量。这个办法理论上不能保证避免爬虫陷入死循环，但是实际上这个方案工作得挺好，因为绝大多数网页都使用了css，动态网页更是如此。之所以说着方法比较暴力是因为这两种方法阈值都是写死的，不能通过抓取的结果，网页的相似度，网页的重要性进行修改。

增量抓取

一个针对多个网站的爬虫很难一次性把所有网页爬取下来，并且网页也处于不断更新的状态中，爬取是一个动态的过程，爬虫支持增量的抓取是很必要的。大概的流程就是关闭爬虫时保存duplicate filter的数据，保存当前的request队列，爬虫启动时导入duplicate filter，并且用上次request队列的数据作为start url。这里还涉及scrapy一个称得上bug的问题，一旦抓取队列里url过多，关闭scrapy需要很久，有时候要花费几天的时间。我们hack了scrapy的代码，在接收到关闭命令后，保存duplicate filter数据和当前的request队列和已抓取的url列表，然后调用twisted的reactor.stop()强制退出。当前的request队列可以通过scrapy.core.scheduler的pending_requests成员得到。

高效数据存储

抓取的页面多了之后如何存储就成了一个问题，按我们的统计纯html页面的平均大小大概在20~30k之间，百万的页面抓下来之后占用的硬盘空间大概是几十G。ntfs和ext3这些文件系统在小文件过多之后效率都会比较低，需要优化存储效率。我们目前将页面的url进行hash(sha1)，以hash值作为文件名，hash值的前几位作为目录名存储页面，以后准备使用HDFS来存储数据。

scrapy的开发者还是挺活跃的，这两天就看到scrapy的blog上有专家写关于ajax抓取的文章，ajax抓取是个挺常出现的问题。目前新版本的scrapy(0.10)支持持久化队列支持增量抓取，爬虫关闭过慢的问题也得到了一定的解决，相信更多特性会逐步开发出来。

我们目前的数据量其实也谈不上大规模，针对这些问题的解决方式也不够完美。这里只是列举一部分可能遇到的问题，实际的问题还有很多，比如编码检测/确定网页的重要性/定期更新。还有一个大问题就是内存泄露，在python里检查内存泄露很难，尤其是对于工作在twisted上的这种持续工作的网络程序，这个以后再谈吧。下面还有一些小建议。

1.如果想要爬取的质量更高，尽量使用宽度优先的策略，在配置里设置 SCHEDULER_ORDER = ‘BFO’

2.修改单爬虫的最大并行请求数 CONCURRENT_REQUESTS_PER_SPIDER

3.修改twisted的线程池大小，默认值是10。参考(Using Threads in Twisted)

在scrapy/core/manage.py爬虫启动前加上

reactor.suggestThreadPoolSize(poolsize)

4.可以开启dns cache来提高性能

在配置里面加上 EXTENSIONS={’scrapy.contrib.resolver.CachingResolver’: 0,}

5.如果自己实现duplicate filter的话注意要保证它是一直可用的，dupfilter里的异常是不会出现在日志文件中的，外面做了try-expect处理

原文： Practical Idealist