IP模拟器
无论是抓取免费代理IP还是购买付费代理IP，都可以在本地设计一个IP池。这样不仅使用方便，还能提高工作效率。那么如何在本地设计代理IP池呢？
一、代理IP获取接口
如果是抓取免费代理IP，使用ProxyGetter接口从免费代理源网站抓取最新的代理IP；如果是付费代理IP，一般会有一个提供访问IP的API，会有一定的限制，比如每次抽取多少，抽取多少秒。
二、代理IP数据库
用来存储获取的代理IP，推荐SSDB。SSDB表现突出，与Redis基本相当。Redis是内存类型，容量问题是一个弱点，内存成本太高。针对这一弱点，SSDB采用硬盘存储，使用谷歌的高性能存储引擎LevelDB，适用于处理大量数据，性能优化到Redis级别。
三、代理IP检测计划
代理IP是时间敏感的。无论是免费代理IP还是付费代理IP，都是有有效期的。过了有效期就作废了，要检查有效期。设置定时检测方案，检测代理IP的有效性，删除无效IP和高延迟IP，并给出预警。当IP池中的IP小于一定阈值时，通过代理IP获取接口获取新的IP。
四、代理IP池外部接口
有了代理IP池，就需要设计一个外部接口，通过这个接口可以调用IP池中的IP供爬虫使用。代理IP池的功能比较简单，可以使用Flask来完成。该功能可以是提供获取/删除/刷新等界面供爬虫直接使用。
本地代理IP池的设计是为了方便爬虫的使用，提高效率，所以设计尽量简单方便。如果使用付费代理，爬虫的工作要求不高，就不需要建立本地代理IP池。
