诉机器人不要访问网站上的哪些文件夹。事实上，此命令指示您希望对搜索机器人隐藏的地址。 例如，如果您不希望搜索引擎对您网站的图像建立索引，您可以将所有图像放在主机上的一个文件夹中，并使它们远离搜索引擎。 想象一下，您已将所有这些图像移动到名为 images 的文件夹中。要告诉 Google 不要索引这些图像，您需要在文件中创建如下命令。 *：用户代理 禁止：/照片 Disallow 之后的命令告诉 Google 机器人进入文件根目录下的一个文件夹，该文件夹称为 photos。 文件中的这两行不允许任何机器人进入图像文件夹。
上面的命令代码中User-agent:
”部分说明：并不是所有的搜索引擎都必须执行该命令。但在Disallow: /photos部分，表示不允许机器人进入或索引网站图片文件夹。使用Allow指令指 保加利亚 WhatsApp 号码数据 定机器人允许的字段 使用Allow指令指定机器人允许的字段 正如我们提到的，Google 的抓取和索引机器人称为 Googlebot。该机器人比其他搜索机器人理解更多命令。除了“User-agent”和“Disallow”命令之外，Google 机器人还理解另一个名为“Allow”的命令。
允许指令允许您告诉 Google 机
器人允许哪个文件签入不允许的文件夹中。为了更好地理解这个命令，让我们使用前面的示例。 在前面的示例中，我们编写了不允许搜索机器人访问网站图像的代码字符串。我们将网站 中国 WhatsApp 号码列表 的所有图像放入名为 Photos 的文件夹中，并通过运行以下命令创建 robots txt 文件。 *：用户代理 禁止：/照片 现在想象一下，在我们位于托管网站的文件夹中，有一个名为 ostadweb.jpg 的图像，我们将对其进行索引。您可以使用以下命令告诉 Google 机器人执行此操作。
