IP模拟器
说爬虫和反爬虫之间的那些事！爬虫是搭建大数据平台的基础，负责抓取网页信息，对网页进行识别、分类和过滤。我们熟悉的电商、搜索、新闻以及各大门户网站，每天都有强大的爬虫集群在高负荷运行。他们“和谐地”互相聚合，从新闻和新闻中学习。他们尽最大努力搜索和优化网页信息，各大研究机构尽最大努力构建数据集。
但是，各大网站不给爬虫喘息的机会，让它为所欲为。毕竟内容的价值在任何时候都是显而易见的，所以才有了爬虫和反爬虫的混战大戏。
没有一刻放松与爬行者对爬行者的攻防战。反爬网站要制定反爬策略，就要根据爬虫的特点来选择方案。爬虫有什么特点？脚本+自动化。因此，反对攀爬的毁灭性举动不超过两种:
首先，非脚本访问= >浏览器真实性检测。
第二，非自动化访问= >访问用户的真实性检测。
由于其运行环境和工作原理，浏览器会带来一些独特的属性:有协议协商的头，有可执行的JavaScript代码片段。然后基于浏览器的真实性检测，构建防爬党的第一道堡垒。
反爬虫党在竞选之初，率先提供了user-agent、content-type、application、I accept-encoding、accept-language、x-forwarded-for、referer等头部电网。第一批不同于正常浏览器标题的爬虫相继触发，瞬间死亡。然而，这种爬行动物不是吃素的！他们用了一招巧妙的瞒天过海的招数，通过伪造表头迅速突破防线！
反爬者一点也不慌张，在html里加了一个JavaScript脚本矿。因为他的浏览器提前知道了地雷的位置，所以可以安全绕过，不影响正常的网页显示。然而爬行者并不知情，接连被抓，或杀或伤。直到大杀器Node.js出现，JavaScript才可以直接执行。爬行者终于奋起反击，再下一城！！
反爬者未能另作打算，用“单页应用”的迷宫防御重铸堡垒。而爬虫却因单页应用的巧妙构造，使尽浑身解数却分析不出任何数据，手足无措。单页应用程序主宰了战场！反攀登者开始了单方面的屠杀，爬行动物的士气被摧毁了…...
终于，这场战斗的终结者出现了。他是无头铬技术！新技术一出现，爬虫军的兵工厂焕然一新:硒元素、傀儡师、幻影JS、CasperJS等重型攻城杀手不断建功，反爬者溃千里。爬虫终于锁定了首战的胜利！
由于无头Chrome的出现，反爬者在浏览器识别之战中所向披靡。但胜败乃兵家常事，东方不亮西方亮。在数据防御的关键时刻，反爬者意外发现了一个现象。虽然浏览器很难识别，但是人性是贪婪的！人类可以做很多脚本做不到的事情！连人的行为都有固定的规则！就这样，反攀登者努力了很久，终于再次踏上了战场！这场战斗的制高点是灵魂和哲学的双层拷问:“你到底是不是人？”
第一道防线直指爬虫的关键——贪婪(访问频率)！这种每秒10次的高频访问请求怎么会发生在一个人类身上，剁！爬行者不得不大幅降低攻击频率，反爬者终于松了一口气。
第二道防线直指爬虫的痛点——懒惰(固定IP)！最近，数百个请求从同一个IP发出。世界上怎么会有这么无聊的人？砍！正因如此，爬虫不得不付出巨大的代价购买代理ip。即便如此，反爬虫仍然可以通过屏蔽公网IP的方式关闭大量代理地址。经过反爬党的精心运作，敌人的攻势被逐渐有效地削弱了。
就这样，爬虫和反爬虫的斗争还在继续，谁也不会认输。有时候反爬虫策略升级，爬虫策略也会升级。
