IP模拟器
网络爬虫是一种自动获取网页内容的程序。它是搜索引擎的重要组成部分，所以搜索引擎优化在很大程度上就是爬虫的优化。
传统爬行器和主题爬行器
传统爬虫：从一个或多个初始网页的URL开始，获取初始网页的URL，不断从当前网页中提取新的URL，并将其放入队列中，直到系统满足一定的停止条件。
关注爬虫：工作过程复杂，需要根据一定的网页分析算法过滤掉无关链接，保留有用链接，放入URL队列进行爬行。然后，根据一定的搜索策略从队列中选择下一个网页的URL，并重复上述过程，直到满足系统的一定条件。
另外，爬虫抓取的所有网页都将被系统存储，进行一定程度的分析和过滤，并建立索引，以备以后的查询和检索。对于聚焦爬虫来说，在这个过程中得到的分析结果也可能为后续的爬行过程提供反馈和指导。
爬行器策略（爬虫是如何解决ip被封问题的）通过本地程序抓取其他人的网站。如果ip被屏蔽了，可以采取以下措施：
1. 技术处理【调整Web爬虫的请求频率】
在节目中使用伪装，不要明目张胆地攀爬（使用代理IP）。使用高级爬行器（无限期爬行）
2. 简单的处理【随时改变动态IP】
如果ip在公司被屏蔽了，可以考虑重新启动路由器，重新获取公网ip
自动更改IP地址，防爬虫被封，多线程，引用（待验证）
