在X -机器人标签是一种用于控制搜索引擎机器人的有力工具。它是由一些比较流行的解决方案，如机器人robots.txt和元标记，不同的。其实，在X -机器人标签允许灵活性和全面控制的搜索引擎机器人爬行大量网站的内容 - 甚至比使用robots.txt和机器人的中继标记。
令人惊讶的是它不是在SEO和网络的主人很受欢迎。很多的SEO们仍然没有完全熟悉这个协议，尤其是初学者。这是一个初学者在X机器人标记教程。在本教程中，您将充分了解它的工作原理，并知道如何使用它结束。
使用robots.txt比较的X -机器人，机器人的元标签和标签
您可能已经观测到了，利用robots.txt和元标记机器人处理一些限制手段。在下面的屏幕快照表可以帮助您检阅robots.txt的限制和机器人的元标记。
在第一个比较，这是事实，你可以使用robots.txt文件来阻止抓取和索引的任何内容在您的网站类型的搜索引擎漫游器（如Googlebot）。此内容可以是一个网页（。html的），图片，音频/视频或文件。
但是，使用机器人的中继标记，你可以完全实现，因为这个图片，音频/视频和文档（Word例如文件）不是基于HTML的内容，没有<head>标签的所有内容类型的阻塞。
在第二个比较，你可能认为有必要对您的内容有一些不被搜索引擎缓存。如果您成功地阻止网页或内容使用robots.txt，那么，“缓存”链接不会被发现在该内容搜索结果。
请记住，虽然，它仍然会出现在窗体的搜索引擎结果“参考链接。”这里是一个屏幕截图说明这一点：
上述内容被阻止使用robots.txt使用以下语法：
用户代理：*
不允许：/可湿性粉剂
不允许：/ 2009 /
然而，对于HTML页面，您可以使用META标记，以防止机器人从缓存的搜索引擎在搜索结果页面。这可以通过使用在<head>部分noarchive标记，例如：
<meta name="googlebot" content="noarchive">
在过去的比较，元的robots.txt robots.txt和不能同时使用，以防止sitemap.xml的您的网站，以及在robots.txt，被编入索引和搜索引擎缓存。
这是因为你不能阻止其自己的robots.txt。如果你拒绝访问，并使用。htaccess的指令，然后搜索引擎也将被阻止访问您的整个网站。同理，sitemap.xml的事实。如果你在robots.txt sitemap.xml的块，Googlebot将无法获取你的sitemap.xml的，这可能是有用的内容。
一个错误会出现在您的谷歌网站管理员工具，告诉你的sitemap.xml由Googlebot不能访问，因为它是在robots.txt拦截
在X -机器人标签是到robots.txt的限制和机器人的元标记的答案。有了它，你可以：
防止任何类型的内容编制索引（无论它是HTML，图片，音频/视频及文件搜索引擎机器人。
从缓存任何类型的内容，防止搜索引擎是否是HTML，图片，音频/视频和文件。
从索引或快取robots.txt和sitemap.xml的防止搜索引擎。
上一篇：社会因素影响搜索排名
下一篇：在新的一年的SEO预测
