IP模拟器
需要一个爬虫IP代理来收集数据，由于之前公司项目的需要，我们收集了地图数据和一些大型网站的数据。
1. 一个代理IP是必需的，非常正确，ADSL。如果条件允许，您实际上可以向机房申请外部IP。
2.在具有外部IP的机器上部署代理服务器。
3. 您的计划使用轮转训练而不是代理服务器来访问您想要收藏的网站。
好处：
1. 程序逻辑变化不大，只需要代理函数。
2. 根据对方网站的不同被封规则，您只需再添加几个代理即可。
3. 如果一个特定的IP被封，可以使用代理服务器登出而不改变程序逻辑。
首先，我想通过代理购买一些代理IP，比如动态IP模拟器它提供了许多国内代理IP服务器地址，您可以从这里抓取，后来我用的是ADSL。缺点是需要断开网络，重新拨号，在断开连接的过程中，爬行器在没有负载的情况下运行。如果您对实时数据有特殊要求，则需要规划解决方案。
