你是否在你的WordPress站点的Google站长工具账户中看到了‘Googlebot无法访问css和js文件’的警告？该邮件包含指向如何解决此问题的说明的链接，但这些说明并不容易遵循。在本文中，我们将向您展示如何修复WordPress站点上的“Googlebot无法访问CSS和JS文件”错误。 为什么谷歌需要访问css和js文件？ 谷歌专注于为用户友好的网站提供更好的排名–那些速度快、用户体验好等的网站。为了确定网站的用户体验，谷歌需要能够访问网站的CSS和JavaScript文件。 默认情况下，WordPress不阻止搜索僵尸程序，阻止其访问任何css或js文件。然而，一些网站所有者可能会在试图添加额外的安全措施或使用WordPress安全插件时意外阻止它们。 这限制了Googlebot对css和JS文件的索引，这可能会影响您的站点的SEO性能。 话虽如此，让我们看看如何找到这些文件并将其解锁。 如何让Google访问您的CSS和JS文件 首先，你需要知道谷歌无法访问你网站上的哪些文件。 你可以通过点击谷歌机器人来查看你的网站爬网？以Google方式获取在谷歌搜索控制台(以前的网站管理员工具)。接下来，点击Fetch and Render按钮(你想在桌面和移动设备上都这样做)。 获取后，结果将显示在下面的一行中。点击它，你会看到用户看到了什么，以及谷歌机器人在加载你的网站时看到了什么。 如果你注意到这两个截图之间有什么不同，那么这意味着Googlebot不能访问css/js文件。它还将向您显示它无法访问的CSS和JS文件的链接。 您还可以在以下位置找到这些被阻止资源的列表Google索引？已阻止的资源。 点击每个资源将显示Googlebot无法访问的实际资源的链接。 大多数情况下，这些都是您的WordPress插件或主题添加的css样式和JS文件。 现在，您需要编辑站点的robots.txt文件，该文件控制Google bot所看到的内容。 您可以通过使用FTP客户端连接到您的站点来编辑它。Robots.txt文件将位于站点的根目录中。 如果你使用的是Yoast SEO插件，那么你可以在你的WordPress管理区域内编辑robots.txt文件。只需转到搜索引擎优化？工具页面，然后单击文件编辑器。 您很可能会看到，您的站点已禁止访问某些WordPress目录，如下所示： User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /wp-content/themes/ 现在，您需要删除阻止Google访问您站点前端的css或js文件的行。通常，这些文件位于插件或主题文件夹中。您可能还需要删除wp-includes，许多WordPress主题和插件可能会调用位于wp-includes文件夹中的脚本，如jQuery。 一些用户可能会注意到他们的robots.txt文件要么是空的，要么根本不存在。如果Googlebot没有找到robots.txt文件，则它会自动爬行并索引所有文件。 那你为什么会看到这个警告？ 在极少数情况下，一些WordPress主机提供商可能会主动阻止机器人访问默认的WordPress文件夹。您可以在robots.txt中通过允许访问被阻止的文件夹来覆盖此设置。 User-agent: * Allow: /wp-includes/js/ 完成后，保存robots.txt文件。访问Fetch as Google工具，然后点击Fetch and Render按钮。现在比较获取结果，您将看到大多数被阻止的资源问题现在应该消失了。 我们希望这篇文章能帮助你解决WordPress网站上“Googlebot无法访问css和js文件”的错误。您可能还想看看我们的指南 而且.。
Googlebot
在本文中，我们将了解您为什么要控制Googlebot以及如何控制Googlebot和其他搜索引擎爬虫的抓取速度。
有时会很高兴地看到，Google几乎是在瞬间抓取您的网站。但这对于大多数网站来说不是必需的，因为内容可能每天更新一次，甚至更长的时间间隔。在内容没有更新的这种情况下，搜索引擎爬虫或机器人继续在网站上寻找更新是没有意义的。 在本文中，我们将了解您为什么要控制Googlebot以及如何控制Googlebot和其他搜索引擎爬虫的抓取速度。 为什么要控制Googlebot抓取速度？ 当您有多个站点或更大的站点时，搜索引擎机器人的持续爬取将对服务器性能产生不利影响。因此，有必要控制爬取您网站的机器人的爬取速率，而Googlebot是您在许多情况下应该控制的第一个。 无论是搜索引擎机器人还是真实用户，都会使用您的服务器资源。 高爬取率将导致高CPU利用率，最终可能需要为额外资源支付更多费用。在共享托管环境中，您的主机可能会停止服务以保护托管在同一服务器上的其他站点。 当Googlebot抓取网站时，网站上的真实用户可能会感到缓慢。特别是当您拥有电子商务网站时，必须控制Googlebot和其他经常抓取的机器人。 如果您的网站较小且流量有限，您可能不会看到机器人有任何问题。当您有多个站点每天吸引成千上万的访问者时，您会注意到由于爬虫的活动导致CPU使用率猛增。当CPU利用率很高时，您可能会收到来自托管公司的警告消息，或者您的帐户将被暂停，要求您采取必要的措施。 如何监控Googlebot？ 有两种方法可以监控Googlebot的抓取活动。一种是从您的Google Search Console中进行检查，另一种是从您的托管帐户进行监控。 登录到您的Google Search Console帐户并导航到“设置”，然后抓取>抓取统计信息>打开报告。在这里，您可以查看过去90天时间范围内的Googlebot活动。您将看到三个图表——每天抓取的页面、每天下载的千字节以及下载页面所花费的时间（以毫秒为单位）。这些图表将让您全面了解Googlebot在您的网站上所做的事情。 Googlebot在您的网站上抓取数据统计 第二种也是最有效的方法是通过您的主机帐户监控服务器上的活动。登录到您的托管帐户并查找其中一种统计报告工具。在这种情况下，我们使用几乎所有共享托管服务提供商（如Bluehost、SiteGround等）提供的Awstats进行解释。 打开Awstats应用程序并选择您的站点以查看统计信息。在“Robots / Spider visitors”部分查看最活跃的机器人列表。 从Awstats监控机器人 您还可以使用WordFence等插件来监控实时流量和Googlebot活动。 当然，我们的蜘蛛分析插件也可以实现爬虫统计及行为分析，安装启用插件后，当然是统计了一段时间的数据，点击蜘蛛分析>蜘蛛概况，然后选择最近30天，在趋势图下列菜单选择为Googlebot，即可查看Googlebot最近30天URL爬取的数量。 如何控制Googlebot的抓取速度？ 当您注意到Googlebot正在抓取您的网站并消耗大量带宽时，就该控制抓取速度了。一些托管公司通过在robots.txt文件中添加条目来自动控制抓取延迟。您可以从Google Search Console手动控制Googlebot的抓取速度。登录到您的Search Console帐户后，打开您的资源的抓取速度设置页面，选择您需要设置谷歌蜘蛛爬取速度的网站。 在Google Search Console中访问抓取控制设置 您将在“抓取速度”部分看到两个选项。 Googlebot抓取速度控制 让Google优化我的网站（推荐） 限制Google的最大抓取速度 选择第二个单选按钮并将进度条向下拖动到任何所需的速率。这将设置每秒的请求数和抓取请求之间的秒数。 注：除非谷歌爬取导致您的网站性能下降严重，否则完全没必要修改谷歌爬虫的爬取速度，这一块的控制，谷歌做得相当优秀。 新的抓取速度设置将在90天内有效，并在到期后自动重置为第一个选项“让Google为我的网站进行优化”。 必应呢？ 与Googlebot类似，您也可以在Bing Webmaster Tools下限制Bingbot。登录到您的帐户后，导航到“配置 > 爬网控件”，即可进行相关的设置。 必应网站管理员工具中的抓取控制 通过选择图表上的蓝色框来调整抓取速度。 其他搜索引擎爬虫 除了Google和Bing，还有许多其他机器人可以抓取您的网站。您可以使用通用.htaccess指令阻止所有其他机器人。在您的.htaccess文件中添加以下代码以阻止除Google、Bing、MSN、MSR、Yandex和Twitter之外的所有机器人。所有其他机器人将被重定向到本地主机IP地址 127.0.0.1。 #Disable bad bots […]
