IP模拟器
解决爬虫作为代理IP被封问题的七种方法。有一个邻居的孩子想上学。因为重点没过，成绩也不算太低，他打算去更好的私立高中。家长们不知道哪所学校会有更好的声誉和往年的成绩。于是，他请我一个做数据的朋友来分析数据，他也学到了一些经验。
一、无论你想在什么样的网站上收藏，http代理IP都是必须的，但需要注意的是，你必须使用国内代理IP，可以直接从IP在线代理地址购买但一定要靠谱。这样做的好处是：
首先，程序逻辑变化不大，只需要代理函数。
第二，可以根据对方网站的不同封锁规则，购买不同的IP代理。
第三，假设您当前使用的代理IP被对方网站屏蔽，您可以在不改变程序逻辑的情况下更改IP。
二、少数网站的防范措施比较薄弱。您可以隐藏从代理IP服务提供商购买的IP，并修改X-Forward-for来绕过它。
大多数网站，如果要经常抓取，通常需要更多的IP，我的首选方案是直接购买动态转发的代理IP。
三、ADSL+脚本，监视它是否被阻塞，然后不断切换IP。
设置查询频率限制。
正统的方式是调用本网站提供的服务接口。
四、1用户代理伪装和旋转。
2使用代理ip和旋转。
3 Cookie处理，一些网站对登录用户的政策相对宽松。
友情提醒：考虑在别人的网站上爬行的负担，做一个负责任的爬虫。
五、尽可能地模拟用户的行为：
1. 用户代理经常更换。
2. 设置更长的访问时间间隔，并将访问时间设置为随机数。
3. 访问页面的顺序也可以是随机的。
六、网站关闭的依据通常是单位时间内对特定IP的访问量。
根据目标站点的IP地址对收集到的任务进行分组，并控制每IP单位时间内发送的任务数，避免被阻塞。当然，这个前提是你收集了很多网站。如果你只收集一个网站，那只能依靠多个外部IP来实现。
七、1. 爬行动物爬行的压力控制。
2.考虑使用代理访问目标站点。
总结一下：减少获取动态IP地址的替换频率，花费更长的时间进行设置，并使用随机数进行访问。
频繁切换用户代理（模拟浏览器访问）。
多页的数据，随机访问然后抓取数据。
不断更改代理IP。
