HTML META 标签如何控制搜索引擎是否抓取页面

<meta name='robots' content='index,follow' /> 说明： name ：搜索引擎。 举例： robots：表示所有的搜索引擎 Baiduspide：百度 Googlebot：谷歌 content：对搜索引擎蜘蛛的行为做出指示。 举例： index：允许本页被抓取 noindex：禁止许本页被抓取 follow：允许本页的上其它链接可以被跟踪抓取 nofollow：禁止本页上的其它链接被跟踪抓取 noarchive：禁止搜索引擎对网站建立快照 根据 content 属性的四个值，可以列出对蜘蛛抓取行为的控制方法： 1，可以抓取本页，也可以顺着本页继续索引别的链接 <meta name='robots' content='index,follow' /> 可简写为： <meta name='robots' content='all' /> 2，禁止抓取本页，但可以抓取跟踪本页的其它链接 <meta name='robots' content='noindex,follow' /> 3，可以抓取本页，禁止抓取和跟踪本页的其它链接 <meta name='robots' content='index,nofollow' /> 4，禁止抓取本页，禁止抓取和跟踪本页的其它链接 <meta name='robots' content='noindex,nofollow' /> 可简写为： <meta name='robots' content='none' /> 5，禁止搜索引擎建立快照 <meta name='robots' content='noarchive' />