Txt

要知道WordPress robots.txt文件中的“Disallow”命令与页面头部的元描述noindex 的作用不完全相同。您的robots.txt会阻止抓取，但不一定不进行索引，网站文件（如图

2023 年 6 月 9 日

要知道WordPress robots.txt文件中的“Disallow”命令与页面头部的元描述noindex 的作用不完全相同。您的robots.txt会阻止抓取，但不一定不进行索引，网站文件（如图片和文档）除外。如果搜索引擎从其他地方链接，它们仍然可以索引您的“不允许爬取”的页面。因此，Prevent Direct Access Gold不再使用robots.txt禁止规则阻止您的网站页面进行搜索索引。相反，我们使用 noindex元标记，这也有助于谷歌和其他搜索引擎正确地在您的网站上为您的内容分发其入站链接值。 Yoast建议保持robots.txt干净，不要阻止包括以下任何内容： User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Disallow: /wp-content/plugins/ Disallow: /wp-includes/ WordPress也同意说理想的robots.txt 不应该禁止任何东西。事实上， /wp-content/plugins/ 和 /wp-includes/ 目录包含您的主题和插件可能用于正确显示您的网站的图像，JavaScript或CSS文件。阻止这些目录意味着插件和WordPress的所有脚本，样式和图像被阻止，这使得Google和其他搜索引擎的抓取工具难以分析和理解您的网站内容。同样，你也不应该阻止你/wp-content/themes/。简而言之，禁止你的WordPress资源，上传和插件目录，许多人声称可以增强你的网站的安全性，防止任何目标易受攻击的插件被利用，但实际上可能弊大于利，特别是在SEO方面。或者，您应该卸载这些不安全的插件更实际些。这就是我们默认从robots.txt中删除这些规则的原因。但是，您可能仍希望将它们包含在WordPress的Robots.txt内。建议包含Sitemap文件尽管Yoast强烈建议您直接手动将XML站点地图提交到Google Search Console和Bing网站管理员工具，但您仍可将sitemap添加到robots.txt，帮助搜索引擎快速爬取收录你的网站页面。 Sitemap: http://yourdomain.com/post-sitemap.xml Sitemap: http://yourdomain.com/page-sitemap.xml Sitemap: http://yourdomain.com/author-sitemap.xml Sitemap: http://yourdomain.com/offers-sitemap.xml Robots.txt的其他规则出于安全，建议您阻止您的WordPress的readme.html，licence.txt和wp-config-sample.php文件访问，以便未经授权的人员无法检查并查看您正在使用的WordPress版本。 User-agent: * Disallow: /readme.html Disallow: /licence.txt Disallow: /wp-config-sample.php 您还可以使用robots.txt对不同的搜索引擎爬虫定制不同的爬取规则，如下示例。 # block Googlebot from crawling the entire website User-agent: Googlebot Disallow: / […]

很多WordPress站长询问有关如何优化robots.txt文件以改善SEO。在本教程中，我们将介绍如何基于SEO创建一个完美的robots.txt文件。

2023 年 6 月 5 日

很多WordPress站长询问有关如何优化robots.txt文件以改善SEO。 Robots.txt文件用于告诉搜索引擎如何抓取网站，这使其成为功能强大的SEO工具。在本教程中，我们将介绍如何基于SEO创建一个完美的robots.txt文件。什么是robots.txt文件？ Robots.txt是站长可以创建的文本文件，用于告诉搜索引擎蜘蛛如何抓取网站页面并将其编入索引。它通常存储在网站的根目录（也称为主文件夹）中。robots.txt文件的基本格式如下所示： User-agent: [user-agent name] Disallow: [URL string not to be crawled] User-agent: [user-agent name] Allow: [URL string to be crawled] Sitemap: [URL of your XML Sitemap] 您可以使用多行说明来允许或禁止使用特定的URL及添加多个站点地图。如果您不禁止URL，则搜索引擎蜘蛛会默认认为其支持爬取。下面是一个robots.txt文件示例： User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-admin/ Sitemap: https://example.com/sitemap_index.xml 在上面的robots.txt示例中，我们允许搜索引擎对WordPress上传文件夹中的文件进行爬取和编制索引。在那之后，我们不允许搜索引擎蜘蛛爬取和索引插件目录和WordPress管理目录。最后，还提供了XML网站地图的URL。 WordPress网站是否需要Robots.txt文件？如果网站没有robots.txt文件，则搜索引擎会抓取您的网站并为其编制索引。但是，您将无法告诉搜索引擎不应该抓取哪些页面或文件夹。当您第一次创建博客且内容不多时，这不会产生太大影响。但是，随着网站的发展和内容越来越丰富，您可能希望更好地控制网站的蜘蛛爬取行为和索引方式。这就是为什么。搜索引擎蜘蛛对每个网站都有一个爬取配额。这意味着它们在爬网会话期间对一定数量的页面进行爬网。如果他们还没有完成对您网站上所有页面的爬取，那么他们将返回并在下一个会话中继续爬取。这可能会降低您的网站索引率。温馨提示：你可以通过安装搜索引擎蜘蛛分析插件来进一步了解各大搜索引擎蜘蛛是如何爬取你的网站。 […]

在本文中，我们将了解您为什么要使用ads.txt文件，以及如何创建该文件。但是，首先，让我们更详细地讨论ads.txt文件是什么。

2023 年 5 月 20 日

全球广告是一项大生意——每年的营业额高达数百亿美元。因此，您会发现许多人想要跟上潮流，希望分得一杯羹。虽然大多数人都是善意的，但也有其他人希望玩弄系统并进行阴暗或其他非法行为。一个ads.txt文件是一个简单的解决这个复杂的问题。如果您安装了插件Spider Analyser，也会发现蜘蛛经常会访问此文件链接。在本文中，我们将了解您为什么要使用ads.txt文件，以及如何创建该文件。但是，首先，让我们更详细地讨论ads.txt文件是什么。 Ads.txt文件是什么（以及它可以做什么）首先，虽然ads.txt文件与广告行业有关，但文件名实际上是一个首字母缩写词。授权数字卖家 (ADS) 文件由IAB技术实验室开发，旨在帮助打击在线广告中的欺诈行为。简而言之，它可以帮助网站所有者决定哪些公司可以在其网站上销售广告。该文件的基本前提是它包含相关网站的批准卖家列表。一旦您将一个上传到您的服务器，品牌商就可以检查它以查看您的网站与在其上销售广告空间的特定公司之间是否存在合法连接。举一个真实世界（尽管过于简化）的例子，假设您已经通过网络A在您的网站上提供了广告空间。X品牌希望在您的网站上为其新产品投放广告，网络A建议这可以通过它的服务。但是，在他们敲定协议之前，X品牌可能会检查您的网站是否有ads.txt文件，以查看该网络是否在您的授权列表中。这使品牌和广告商能够避免对未经授权的广告出价。这个文件还有很多其他的使用方式，但总的来说，认为它相当于有人告诉保镖让他们的朋友参加聚会。正如我们所指出的，ads.txt文件是一组更复杂问题的直接解决方案。接下来，我们将讨论为什么会这样。为什么要使用Ads.txt文件不幸的是，并非您建立的每一种关系都是合法的。更重要的是，全球广告行业规模庞大，每年都有数十亿的营业额可供争夺。结合这些因素，你会得到一些狡猾的公司，他们希望以牺牲其他人为代价来快速赚钱。 ads.txt文件旨在规避两种恶意行为：域欺骗。这可以采用几种不同的形式，但在这里，广告标签中的 URL 可能会被恶意更改。这会将用户带到一个看起来与合法站点相似但实际上并非如此的站点。域欺骗是您会发现的最常见的广告欺诈形式。 Inventory arbitrage。虽然这不是专门的广告欺诈，但它仍然是一种可以减少收入的阴暗做法。在这里，广告展现由第三方以更高的价格购买、打包和转售。将其视为类似于倒票或在音乐会场地外出售仿冒乐队T恤。当然，对于未参与此类实践的公司而言，这会产生连锁反应。他们将需要更多的资源用于通过ads.txt文件进行Web开发和管理。然而，考虑到从长远来看可能会带来金钱收益——并且知道连接是合法的，这可以说是值得付出的代价。想要在网络上为其产品或服务投放广告的品牌如果与广告欺诈有任何关联，就会损失惨重。如果潜在客户点击了您企业的广告，并将他们带到了被骗的虚假网站，他们将来可能不会再点击您品牌的任何广告——即使是合法的广告。同样，希望展示广告的网站所有者可能会通过发布欺诈性促销活动而在不经意间迅速毁掉自己的声誉。即使您不知道自己在这样做，如果您网站上的广告以糟糕的体验结束，用户也不太可能信任您。如何创建Ads.txt文件虽然我们已经讨论了ads.txt文件的情况是多么复杂，但实现文件本身实际上是任何网站所有者都可以做的事情。接下来，让我们看看两种方法，从动手路线开始。 1.手动创建文件如果您查看网站的ads.txt文件（例如赫芬顿邮报中的这个文件），您会注意到每个条目都有四个参数：以下是每一项的含义，按从左到右的顺序：广告系统或广告交易平台的域名。这只是授权公司的根域。您的发布商帐户ID。这对应于您在相关广告平台中的帐户ID。对于AdSense用户，Google提供了有关查找发布商ID并将其添加到ads.txt文件的教程。关系类型。这将是DIRECT或RESELLER，具体取决于确切的工作关系。 Inventory类型。该可选字段是与广告平台相关的ID。例如，Google对所有连接使用相同的唯一ID。因此，将所有内容放在一起非常简单。您需要打开一个新的文本文件，将授权卖家的详细信息添加到该文件中，然后将其保存为ads.txt。例如，如果您要声明Google AdSense，则需要添加以下内容（相应地更改占位符）： google.com, [pub-ID], DIRECT, [unique-id] 完成后，您需要通过文件传输协议 (FTP) 将文件上传到服务器的根目录。推荐FTP客户端-Cyberduck和FileZilla都很容易上手且免费。 2. 使用专用插件创建文件虽然您可以安装诸如Advanced Ads之类的插件来帮助您创建ads.txt文件，但其丰富的其他特性和功能可能无法满足您的需求。相反，我们将看看Ads.txt Manager：一旦你已经安装并启用插件，您可能需要注册为在一个免费帐户Ads.txt管理网站。准备好后，单击开始使用！Ads.txt管理器仪表板中的按钮：您将看到一个入门向导，但出于本文的目的，您需要跳到屏幕4。这会显示您的帐户 ID，您需要将其复制并粘贴到WordPress管理仪表盘设置>Ads.txt Manage Settings 的相应字段中：保存更改并收到确认消息后，返回Ads.txt管理器仪表板并单击卖家选项卡。在这里，您需要通过点击蓝色授权按钮来选择您的授权方，然后点击管理。在下一个屏幕上，向下滚动到底部并填充Manual Entries部分中的字段，然后单击Add： […]

为你的 WordPress 站点添加 robots.txt

2018 年 12 月 1 日

稍微接触过SEO的站长朋友都应该知道 robots协议（也称为爬虫协议、爬虫规则、机器人协议等），也就是通常添加到网站根目录的robots.txt 文件，它的作用在于告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，从而优化网站的收录结果和权重。如果你的网站根目录还没有 robots.txt，你可以创建一个，具体的写法请参考百度百科。下面是一个基本的 WordPress robots协议： User-agent: * Disallow: /feed/ Disallow: /trackback/ Disallow: /wp-admin/ Disallow: /wp-content/ Disallow: /wp-includes/ Disallow: /xmlrpc.php Disallow: /wp- Allow: /wp-content/uploads/ Sitemap: http://example.com/sitemap.xml 下面主要介绍一下 WordPress 自动创建虚拟 robots.txt 功能。如果你的网站根目录不存在真实的 robots.txt，那么可以让 WordPress 自动创建一个虚拟的 robots.txt （该文件不会真实存在，但是访问 http://yoursite.com/robots.txt 时可以正常显示）将下面的代码添加到主题的 functions.php 即可： 1 2 3 4 5 6 7 8 9 /** * 为你的 […]

robots.txt 和 WordPress 博客中如何使用

2013 年 9 月 13 日

什么是 robots.txt robots.txt（统一小写）是一种存放于网站根目录下的 ASCII 编码的文本文件，它通常告诉网络搜索引擎的爬虫（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎获取的，哪些是可以被获取的。via 维基百科为什么要使用 robots.txt 可能很多人都巴不得搜索引擎收录越多越好，为什么我们还禁止搜索引擎收录我们某些内容呢？第一是防止 Spider 去访问一些无关的页面，造成服务器的压力，第二，可以防止搜索引擎索引一些重复的页面，使网站的权重更加集中，提高网站的排名。 WordPress 博客怎么使用 robots.txt 下面这个是目前我爱水煮鱼博客使用的 robots.txt 文件： User-agent: * Disallow: /cgi-bin/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /wp-content/cache/ Disallow: /wp-content/themes/ Disallow: /author/ Disallow: /trackback/ Disallow: /feed/ Disallow: /comments/ Disallow: */trackback/ Disallow: */feed/ Disallow: */comments/ 简单说下，它只列了禁止访问的目录： /cgi-bin/ 这个是服务器的 cgi 目录，所以肯定不能索引。 /wp-admin/ 和 /wp-includes/，一个是 WordPress 后台，一个是 […]

Android Txt文本读写类源代码 Android开发技术

2013 年 5 月 24 日

Android系统内部提供了一个不错的txt文本读写类，但目前并没有公开提供给标准的SDK，FileUtils类的源代码如下，可以很好的操作Linux下的文本文件。 public class FileUtils{ public static final int S_IRWXU = 00700; public static final int S_IRUSR = 00400; public static final int S_IWUSR = 00200; public static final int S_IXUSR = 00100; public static final int S_IRWXG = 00070; public static final int S_IRGRP = 00040; public static final int S_IWGRP = 00020; […]