对百度蜘蛛来说站长们都喜爱，希望她能每天来我家，说起网络蜘蛛爬虫，很多网站的管理者却是又爱又恨，即讨厌别人爬自己的网站，又需要去爬别人网站的东西。

说起来，爬虫我也用过，反爬虫的努力我也做过，最后我就得出一个结论：网站的资源一旦公开，想完全不被爬是不可能的，能做到的也就是多给网络蜘蛛爬虫添点堵，提高爬资源、内容的成本。

网络爬虫其实也就是一个自动提取网页内容的程序，模拟人为方式浏览各种网页，按特点的条件去抓取网络信息中的内容，然后按我们设定好的方式，将信息收集起来。

说起来，百度蜘蛛应该是目前中国最大的网络爬虫了，很多搞SEO优化的朋友都知道，要将关键字加到MATE标签中，也就是百度蜘蛛在爬取网站内容的时候，会将网页mate标签中的特定信息读取来做 搜索引擎关键字优化。

那么百度蜘蛛爬取网站的速度有多快呢？我拿百度来举例子，当我们在浏览器中按下F12就可以看到。

这个时候我们在开发者工具中点击Network就可以看到，www.baidu.com的加载时间是7.83ms，如果我们单纯的，只是爬网页内容，不考虑并发的情况下，百度蜘蛛也就是8ms爬完一个网页上我们所需要的内容。如果我们需要爬取的是资源或图片之类的内容，那就得另算时间另。

点开Network中的第一列，我们可以看到整个网页所需加载的内容，其他网页所展示的内容也是依据这个请求所返回的内容所展开的。

通过我们请求回来的代码，我们可以拟定规则去读取特定内容，然后在编写规则去处理这些内容。