IP模拟器
很多从事爬虫业务的人发现，他们使用的是一个稳定的代理IP，并控制访问速度和频率。他们发现，有时候爬虫工作会遇到各种问题，工作无法顺利进行，然后如何解决爬虫使用代理IP后遇到的问题。
分布式爬虫，爬行时，可以采用一种分布式的方法，有一定的几率起到反爬行的作用，也可以增加爬行量。
保存cookie，模拟登录比较麻烦的时候，可以直接登录网页，删除cookie并保存，然后将cookie作为爬虫使用，但这不是长久之计，cookie可能过一段时间就失效了。
多帐户防爬，很多网站会通过在一段固定的时间内访问账户的频率来判断它是否是机器人。在这种情况下，可以测试单个Account的固定时间值，时间快到的时候再切换代理IP，这样就可以循环抓取了。
验证码的问题，爬虫经常会在很长一段时间后遇到验证码的问题。这是为了验证你不是机器人，不是为了认可你是爬虫类机器人。第一种解决方法：遇到这种情况，可以将验证码下载到本地，然后手动输入验证码进行验证。这种方法成本很高，不能完全自动捕获，需要人工干预。第二种解决方案：验证码可以通过图像识别自动填写，但目前的验证码大多比较复杂，不熟悉图像识别的话无法识别正确的验证码。第三种解决方案：可以访问自动编码平台。这个是最方便的，不过你需要购买。
不同的网站有不同的反爬行方法，一套爬行策略不会适用于任何一个网站。因此，需要根据具体情况进行分析，不断地进行测试和分析过程，找出本网站的反爬虫策略，这样才能事半功倍。
