网站日志UserAgent里的 Mediapartners-Google 是什么？

在查看nginx日志的时候，发现大量访问连接的UA头里有 Mediapartners-Google，这个到底是什么呢？ Mediapartners-Google 是 Google 的一种爬虫，但是和普通爬虫不同，Mediapartners-Google 是 Google Adsense 分析关键词专用的广告爬虫，只有在投放了 Google Adsense 的网页才会被 Mediapartners-Google 爬取。 下面来看看 Google 有哪些爬虫，都是做什么的。 Adsbot-Google 爬取网页中的文字内容，为 Google AdWords 提供参考。只有 Google AdWords 目标网页才会被 Adsbot-Google 探测器爬取。 Mediapartners-Google 爬取网页内容，为 Google Adsense 分析关键词提供参考。 Googlebot 抓取网页中的文字内容。获取的内容保管于 Google 网页搜索和新闻搜索的数据库，一般谈的 Google 机器人主要指这个。 Googlebot-Mobile 抓取网页中的文字内容，用于 Google 移动搜索。 Googlebot-Image 抓取网页内的图片内容，用于 Google 图片搜索。 Google 爬虫会日夜不停努力抓取网站内容，如果这些爬虫影响到你服务器让你的网站访问速度变慢，以通过在 robots.txt 文件中设置来阻止爬虫继续爬取你的网站（阻止爬虫会影响网站的 SEO）。