IP模拟器
爬虫必须使用代理IP吗？很多人认为要做爬虫，必须用代理IP，否则爬不起来。实际上，情况并非如此。如果爬行数据很少，比如一天在一个网站上爬行几千篇文章，不用代理IP就可以快速完成。
爬虫程序本质上也是一个访问网页的用户，但是这个用户是逆天的，访问频率反人类，对服务器造成很大的压力。服务器必须采用各种策略来限制或禁止爬虫程序，这就是为什么需要代理IP的原因。
如果爬虫程序访问的频率和次数在服务器反爬策略允许的范围内，自然不需要代理IP；如果爬虫抓取的数据太大，必须由多线程、高并发的多台机器进行抓取，必须使用代理IP来帮助完成任务。
很多朋友说可以用ADSL拨号服务器解决IP阻塞的问题，不需要代理IP。ADSL拨号通常在断开和重拨后得到一个新的ip，然后继续爬行。但是，有一个问题。拨号和重拨必须间隔进行，因此运行的程序将被中断。因此，必须准备几台ADSL服务器作为代理，然后爬虫将在另一台服务器上不间断地运行。当然，大数据抓取太麻烦了。
因此，大型爬虫的一般任务是选择代理IP来解决防爬策略的局限性。
