人都是相同的。搜索机器人是否遵循这些指令取决于搜索引擎的指令。Google 机器人有可能执行所有这些命令，但其他搜索引擎（例如Bing或Yandex）不遵循这些命令。最好首先阅读每个搜索引擎的指南，并确保您编写的命令适用于所有搜索引擎。 2- 每个机器人可能以不同的方式理解命令。也就是说，有可能两个机器人属于同一个搜索引擎，其中一个机器人遵循指令，而另一个则不执行。 如果我们不允许机器人使用 Robots.txt 文件的命令检查页面，则该页面仍可能被 Google 索引并显示在搜索结果中。
Google 机器人应该直接检查该页面
或者应该通其他页面和网站的其他链接找到该页面并检查它们。 如果您在 Robots.txt 文件中重新索引网站页面。谷歌在搜索结果中显示它。谷歌借助每 巴西 WhatsApp 号码数据 个链接的锚文本和其他因素在相关搜索结果中对这些页面进行排名。这些页面出现在搜索结果中，没有元描述。因为Google还没有保存元描述和页面内容。 了解Robots.txt文件的指令及其含义 一般来说，Robots.txt文件中有四个重要的命令： 用户代理：指定为其编写命令的机器人。
Disallow不允许机器人检查的部位
允许：允许机器人检查的部分。 站点地图：向机器人显示站点地图文件地址 在本文的其余部分，我们将解释您应该如何使用这些说明。 使用 User-agent 指定机器人 您可以通过针对特定 智利 WhatsApp 号码列表 机器人来使用此命令。该命令在 robots.txt 文件中以两种方式使用。 如果您想向所有爬虫机器人发出相同的命令，只需在 User-agent 语句后使用星号即可。星座意味着一切，例如： *： 用户代理 上述指令意味着以下命令对于所有搜索机器人都以相同的方式工作。 如果你想给特定的机器人发出特定的命令，比如谷歌机器人，你的命令应该写成如下： 用户代理：Googlebot 上面的代码意味着只有Google机器人需要执行文件命令。
