IP模拟器
如何写爬虫可以畅通无阻？很多朋友问，能不能写出一个可以一直畅通无阻工作的爬虫？这很难，但是可以朝着这个目标去做。通过实施一些小策略，你可以让你的网络爬虫活得更久。
一.用户代理
用户代理(User agent)又称用户代理(User-Agent)，是用户访问的工具，告诉服务器用户正在使用哪些web浏览器访问网站。如果没有设置用户代理，很多网站都不会让你查看内容。如果您正在使用rquests库，您可以执行以下操作:
如果你已经有了一些用户代理，你如何使用它们？那么，最好的方法是从文本文件、数据库和Python列表中随机选择一个用户代理来使用。
第二，推荐人
当浏览器访问一个网页时，默认会向服务器发送一个GET请求，其中会包含很多HTTP头。的属性之一是Http Referres用于标记访问链接的来源。
如果想抓取各个产品页面，可以在引用中设置相关类目的网址，也可以找到想要抓取的域名的反向链接。
第三，代理IP
代理IP的重要性不言而喻，高效稳定的代理IP是保证爬虫持续工作的前提。反爬虫策略往往限制单个IP可以访问网站的频率和次数。必须使用多个代理IP，避免被限制，提高工作效率。这里推荐短期优质代理IP和IP模拟器代理一手私人代理。
第四，睡眠延迟
在请求之间放一些延迟总是好的，睡眠时间要随机无规律，以免被识别为爬虫。您可以使用numpy.random.choice()来实现这一点，它将在您想要延迟的服务中传递一个随机数列表:
也许没有爬虫可以一直畅通无阻的工作，但是你总是可以采取一些措施让爬虫尽可能长时间的工作。不同的网站有不同的策略，可能会不断调整升级，所以爬虫策略也需要不断升级，才能持续稳定的工作。
