每天都有很多SEO人员在更新网站的页面，如果搜索引擎中网络蜘蛛没有选择性的抓取页面，那将会是一个庞大的工作量。因此我们知道，网络蜘蛛在进行抓取的时候，是有一定规则的，是有选择性的抓取网站页面的。