IP模拟器

一步一步编写自己的PHP爬取动态IP项目！ 第一章主要是普及爬虫的概念和相关知识，让大家为后续的学习打下扎实的基础。 如果你是有经验的开发者，可以跳过第一章，进入第二章。  

 

本项目主要关注两个核心点：

 

1。  PHP爬虫

 

2。  Proxy IP

 

先说一下什么是爬虫。 简单来说，爬虫就是一个检测机器。 它的基本操作是模拟人类去各种网站的行为。 四处走走，单击按钮，检查数据，或背诵您看到的信息。 这就像一只虫子在建筑物中不知疲倦地爬来爬去。  

 

而我们最常见和最常用的爬虫是百度。 百度就是用这种爬虫技术：每天向各个网站发布无数爬虫，抓取它们的信息，等你搜索。还有各种类型的抢票软件，每一个爬虫帮你不断刷新12306网站上剩余的火车票。 找到票后，您可以立即购买。  

 

随着时代的发展，人们发现并不是所有的爬虫都像百度和抢票软件一样对我们的生活有所帮助。 也有很多非法入侵的爬虫。 这些爬虫不仅不会帮助我们，甚至会泄露我们的很多信息。  

 

人们讨厌这种爬虫类，于是另一种技术诞生了，反爬虫类。话说有一天，小明想去电影院看电影，但不知道看哪部电影，所以他想从里面爬一些影评 多个网站，让自己变得更好 决定看什么电影。 于是小明写了一个标准的爬虫（基于HttpClient库），不断遍历某站电影下的影评页面，根据Html解析电影名，存入自己的数据库中。  

 

但是电影网站的工作人员小红已经不高兴了。 您使用爬虫来爬取我们的电影评论。 那么谁还在我们的网站上呢？ 我们如何出售广告以获取利润？小红发现某段时间内请求量急剧增加，日志分析发现都是IP（X.X.X.X）用户，而useragent还是JavaClient1.6，基于这两点，判断非人为直接在Nginx服务器上进行拦截。  

 

小明发现自己的影评只爬了三分之一就被屏蔽了，于是他相应地改变了策略，每半小时换一个IP代理。  

 

所以这涉及到我们项目的第二点，代理IP。 这个术语对于一些刚入门的新手来说可能有点陌生。 其实代理IP也可以理解为代理服务器。  

 

代理服务器是浏览器和网络服务器之间的服务器。 当您通过代理服务器浏览 Internet 时，浏览器不会直接到 Web 服务器检索网页。 而是向代理服务器发送请求，代理服务器检索浏览器需要的信息并发送给您的浏览器 

这样电影网站的小红就不能 认出来。 哪个IP是我们的，我们也能顺利拿到想要的影评。  （但在实践中，爬虫攻击和防御的方式比较多，这里就不一一赘述了）。