robots

要知道WordPress robots.txt文件中的“Disallow”命令与页面头部的元描述noindex 的作用不完全相同。您的robots.txt会阻止抓取，但不一定不进行索引，网站文件（如图

2023 年 6 月 9 日

要知道WordPress robots.txt文件中的“Disallow”命令与页面头部的元描述noindex 的作用不完全相同。您的robots.txt会阻止抓取，但不一定不进行索引，网站文件（如图片和文档）除外。如果搜索引擎从其他地方链接，它们仍然可以索引您的“不允许爬取”的页面。因此，Prevent Direct Access Gold不再使用robots.txt禁止规则阻止您的网站页面进行搜索索引。相反，我们使用 noindex元标记，这也有助于谷歌和其他搜索引擎正确地在您的网站上为您的内容分发其入站链接值。 Yoast建议保持robots.txt干净，不要阻止包括以下任何内容： User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Disallow: /wp-content/plugins/ Disallow: /wp-includes/ WordPress也同意说理想的robots.txt 不应该禁止任何东西。事实上， /wp-content/plugins/ 和 /wp-includes/ 目录包含您的主题和插件可能用于正确显示您的网站的图像，JavaScript或CSS文件。阻止这些目录意味着插件和WordPress的所有脚本，样式和图像被阻止，这使得Google和其他搜索引擎的抓取工具难以分析和理解您的网站内容。同样，你也不应该阻止你/wp-content/themes/。简而言之，禁止你的WordPress资源，上传和插件目录，许多人声称可以增强你的网站的安全性，防止任何目标易受攻击的插件被利用，但实际上可能弊大于利，特别是在SEO方面。或者，您应该卸载这些不安全的插件更实际些。这就是我们默认从robots.txt中删除这些规则的原因。但是，您可能仍希望将它们包含在WordPress的Robots.txt内。建议包含Sitemap文件尽管Yoast强烈建议您直接手动将XML站点地图提交到Google Search Console和Bing网站管理员工具，但您仍可将sitemap添加到robots.txt，帮助搜索引擎快速爬取收录你的网站页面。 Sitemap: http://yourdomain.com/post-sitemap.xml Sitemap: http://yourdomain.com/page-sitemap.xml Sitemap: http://yourdomain.com/author-sitemap.xml Sitemap: http://yourdomain.com/offers-sitemap.xml Robots.txt的其他规则出于安全，建议您阻止您的WordPress的readme.html，licence.txt和wp-config-sample.php文件访问，以便未经授权的人员无法检查并查看您正在使用的WordPress版本。 User-agent: * Disallow: /readme.html Disallow: /licence.txt Disallow: /wp-config-sample.php 您还可以使用robots.txt对不同的搜索引擎爬虫定制不同的爬取规则，如下示例。 # block Googlebot from crawling the entire website User-agent: Googlebot Disallow: / […]

很多WordPress站长询问有关如何优化robots.txt文件以改善SEO。在本教程中，我们将介绍如何基于SEO创建一个完美的robots.txt文件。

2023 年 6 月 5 日

很多WordPress站长询问有关如何优化robots.txt文件以改善SEO。 Robots.txt文件用于告诉搜索引擎如何抓取网站，这使其成为功能强大的SEO工具。在本教程中，我们将介绍如何基于SEO创建一个完美的robots.txt文件。什么是robots.txt文件？ Robots.txt是站长可以创建的文本文件，用于告诉搜索引擎蜘蛛如何抓取网站页面并将其编入索引。它通常存储在网站的根目录（也称为主文件夹）中。robots.txt文件的基本格式如下所示： User-agent: [user-agent name] Disallow: [URL string not to be crawled] User-agent: [user-agent name] Allow: [URL string to be crawled] Sitemap: [URL of your XML Sitemap] 您可以使用多行说明来允许或禁止使用特定的URL及添加多个站点地图。如果您不禁止URL，则搜索引擎蜘蛛会默认认为其支持爬取。下面是一个robots.txt文件示例： User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-admin/ Sitemap: https://example.com/sitemap_index.xml 在上面的robots.txt示例中，我们允许搜索引擎对WordPress上传文件夹中的文件进行爬取和编制索引。在那之后，我们不允许搜索引擎蜘蛛爬取和索引插件目录和WordPress管理目录。最后，还提供了XML网站地图的URL。 WordPress网站是否需要Robots.txt文件？如果网站没有robots.txt文件，则搜索引擎会抓取您的网站并为其编制索引。但是，您将无法告诉搜索引擎不应该抓取哪些页面或文件夹。当您第一次创建博客且内容不多时，这不会产生太大影响。但是，随着网站的发展和内容越来越丰富，您可能希望更好地控制网站的蜘蛛爬取行为和索引方式。这就是为什么。搜索引擎蜘蛛对每个网站都有一个爬取配额。这意味着它们在爬网会话期间对一定数量的页面进行爬网。如果他们还没有完成对您网站上所有页面的爬取，那么他们将返回并在下一个会话中继续爬取。这可能会降低您的网站索引率。温馨提示：你可以通过安装搜索引擎蜘蛛分析插件来进一步了解各大搜索引擎蜘蛛是如何爬取你的网站。 […]

为你的 WordPress 站点添加 robots.txt

2018 年 12 月 1 日

稍微接触过SEO的站长朋友都应该知道 robots协议（也称为爬虫协议、爬虫规则、机器人协议等），也就是通常添加到网站根目录的robots.txt 文件，它的作用在于告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，从而优化网站的收录结果和权重。如果你的网站根目录还没有 robots.txt，你可以创建一个，具体的写法请参考百度百科。下面是一个基本的 WordPress robots协议： User-agent: * Disallow: /feed/ Disallow: /trackback/ Disallow: /wp-admin/ Disallow: /wp-content/ Disallow: /wp-includes/ Disallow: /xmlrpc.php Disallow: /wp- Allow: /wp-content/uploads/ Sitemap: http://example.com/sitemap.xml 下面主要介绍一下 WordPress 自动创建虚拟 robots.txt 功能。如果你的网站根目录不存在真实的 robots.txt，那么可以让 WordPress 自动创建一个虚拟的 robots.txt （该文件不会真实存在，但是访问 http://yoursite.com/robots.txt 时可以正常显示）将下面的代码添加到主题的 functions.php 即可： 1 2 3 4 5 6 7 8 9 /** * 为你的 […]

robots.txt 和 WordPress 博客中如何使用

2013 年 9 月 13 日

什么是 robots.txt robots.txt（统一小写）是一种存放于网站根目录下的 ASCII 编码的文本文件，它通常告诉网络搜索引擎的爬虫（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎获取的，哪些是可以被获取的。via 维基百科为什么要使用 robots.txt 可能很多人都巴不得搜索引擎收录越多越好，为什么我们还禁止搜索引擎收录我们某些内容呢？第一是防止 Spider 去访问一些无关的页面，造成服务器的压力，第二，可以防止搜索引擎索引一些重复的页面，使网站的权重更加集中，提高网站的排名。 WordPress 博客怎么使用 robots.txt 下面这个是目前我爱水煮鱼博客使用的 robots.txt 文件： User-agent: * Disallow: /cgi-bin/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /wp-content/cache/ Disallow: /wp-content/themes/ Disallow: /author/ Disallow: /trackback/ Disallow: /feed/ Disallow: /comments/ Disallow: */trackback/ Disallow: */feed/ Disallow: */comments/ 简单说下，它只列了禁止访问的目录： /cgi-bin/ 这个是服务器的 cgi 目录，所以肯定不能索引。 /wp-admin/ 和 /wp-includes/，一个是 WordPress 后台，一个是 […]