众多的技术术语中,也许最广为人知的是“网络爬虫”。事上,网络爬虫的名字就已经显示出了这种技术的效果,特别是如果它像密密麻麻的蠕虫一样均匀分布在网络上,利用代理IP抓取到各个网站获取数据。这也在一定程度上表达了人们对这项技术的情感倾向——爬虫可能是无害的,但它们总是令人不快。
为了防止同一个代理IP访问同一个网站,很有可能会长时间屏蔽该IP访问同一个网站。非常方便的解决了技术含量很高的IP代理问题,找IP代理也方便无烦恼。低成本维护服务器本身的成本太高,不亚于长期可持续发展。
有一种说法,互联网上60%的流量是由网络爬虫创造的。虽然这种说法有些夸张,但也反映出网络爬虫的普遍存在,爬虫无处不在,因为它们给互联网公司带来了收益。