IP模拟器
当我们在浏览器中清理上网的痕迹时，通常会看到Cookie。这是什么意思？
事实上，Cookies指的是存储在用户本地终端上的数据。有时，复数形式的cookies指的是由一些网站存储在用户本地终端上的数据(通常是加密的)，以便识别用户的身份并跟踪会话。
饼干的作用是什么？
在浏览器中，我们经常会涉及到数据的交换，比如你登录邮箱，登录一个页面。我们经常设置30天内记得我或者此时自动登录的选项。那他们怎么记录信息呢？答案就是今天的主角cookie，由HTTP服务器设置，存储在浏览器中。但是，HTTP协议是无状态协议。数据交换后，服务器和客户端之间的链接将被关闭，每次交换数据时都需要建立新的链接。
就像我们去超市买东西，没有记分卡，我们买东西后超市没有任何消费信息，但是我们设置了记分卡后，超市有我们的消费信息。Cookie就像记分卡，可以节省分数。商品是我们的信息。超市系统就像服务器的密室。http协议是事务处理过程。
爬虫如何突破网站cookie限制？
有时候我们在访问一个页面的时候，经常会跳转到登陆页面，比如大家都在线上看用户空间，这是因为我们不登录是不允许访问的。当我们使用爬虫抓取用户相关信息的一些数据时，也会发现我们经常抓取的是登陆页面，这并不是我们想要的结果。
如何解决这个问题？您不能先登录网站，然后再对其进行爬网。这个时候，饼干是必需。
当我们想要抓取一个人人网的用户空间信息时，应该怎么做？
1.我们需要在登录时使用爬虫抓取Renren.com的请求，并获取请求中的cookie数据。
2.当使用个人信息页面的url进行请求时，请求需要携带1中的cookie。只有当cookie被携带时，服务器才能识别所请求的用户信息并响应指定的用户信息页面数据。
这里需要注意的是，如果需要抓取大量信息，建议多找一些cookie进行轮换，避免被系统检测到。
除了Cookie限制，爬虫还需要注意其他的反爬虫，比如IP限制，就是说要用代理IP来改变IP地址，用其他IP地址继续访问，从而突破网络限制。当然，也有很多限制。爬虫在收集之前需要分析网站的反爬虫策略。
