IP模拟器
优秀的爬虫不需要代理IP？网络承载了大量的网站信息，爬虫也消耗了巨大的工作量，因此爬虫程序的性能非常关键。不同的应用有不同的对应爬虫和不同的相对策略，那么哪些特征可以称得上优秀的爬虫呢？
第一，高性能
这里的高性能是指爬虫爬行的高效性、稳定性和连续性。单位时间可以抓取的网页越多，同时又可以持续稳定的抓取，所以爬虫的性能越高。
要想提升爬虫的性能，在程序设计中选择数据结构尤为关键。同时，爬虫的策略和反间谍策略也不容小觑，爬虫需要高质量的动态ip代理辅助。
第二，扩展性。
即使单个爬虫的性能大大增强，对于大量的网站信息来说，仍然需要非常长的时间。为了尽可能减少爬虫的工作周期，爬虫系统需要有更好的扩展性，可以通过增加爬行服务器和爬虫的数量来达到目的。每台服务器部署多个爬虫，每个爬虫运行在多个线程中，使用各种方式增加并发，是分布式爬虫。
第三，稳健性。
爬虫在浏览各种web服务器时，可能会遇到很多意想不到的问题或紧急情况，比如网页的Html编码不规范，目标服务器无缘无故被卡住，甚至代理服务器突然出现故障。如果爬虫能妥善处理各种异常情况，就不会频繁停止工作，这是爬虫健壮性的体现。
第四，友好。
爬虫友好有两层含义:一是保证网站的部分隐私，二是降低当前网站的网络负载，三是使用代理ip时降低代理服务器的网络负载。
对于网站用户来说，有些信息是不愿意被抓取的。通常，会有一个robot.txt文件来指定禁止哪个爬网，或者在Html代码中添加一个meta name="robots "标记。如果你是一个友好的爬虫，你必须遵守这个协议。
不允许友好的爬虫影响目标服务器的正常运行，对目标服务器造成过大的访问压力，更容易被IP限制抓取。使用代理IP时也是如此，对代理服务器造成太大压力，最终影响爬虫自身的稳定运行。
