代理IP是爬虫必备的工具

　　代理IP是爬虫必备的工具，很多网站都有根据单IP频繁访问判断，这到底是用户，还是机器程序。这个判断简单，而且反反网络爬虫比较费时间，还费钱，是反网络爬虫绝佳方案。

　　如果需要解决这个IP限制，爬虫们是需采用多IP抓取的，但这多IP怎么来呢？有几个方法：

　　1.根据ADSL拨号换IP。每拨一次就会有一个新IP，较好解决IP单一问题。

　　假如是局域网，带路由器的，第一种方法可能不好用。这个时候可以模拟登陆路由器，控制路由器重新拨号，换IP，这其实是一种折中的办法，曲线救国。

　　利用这个方法，就实现了用路由器换IP的目的。该方法的缺陷也是很明显的。就是不像第一种方法那样通用。基本上一个路由器就得编一套代码，属于定制代码。

　　2.代理IP，利用购买的或是网上抓取的免费代理IP，实现多IP网络爬虫。

　　代理IP是最常见的一种多IP网络爬虫方法。在请求Headers中加入代理IP地址，即可实现代理IP抓取。缺陷是爬取速度和代理IP的速度息息相关。而且好的IP费用较高，免费的速度普遍不高。

　　分布式网络爬虫。采用多个服务器，多个IP，多个slave网络爬虫同时运行，由master负责调度。效率较高，属于大型分布式抓取，一般用redis分布式抓取。

　　为了高效工作，可见代理IP是爬虫必备的工具，掌握了代理IP的使用，网络爬虫步伐才能迈得坚实。