对百度蜘蛛来说站长们都喜爱，希望她能每天来我家，说

每天都有很多SEO人员在更新网站的页面，如果搜索引擎中网络蜘蛛没有选择性的抓取页面，那将会是一个庞大的工作量。因此我们知道，网络蜘蛛在进行抓取的时候，是有一定规则的，是有选择性的抓取网站页面的。