删除索引内容的 4 种方法以及 3 种无效的方法
Posted: Sat Jan 04, 2025 3:47 am
有时您不希望内容显示在搜索结果中……但如何摆脱它?了解从搜索引擎索引中删除内容的四种方法真正有效,以及何时使用它们。
有些内容对搜索引擎来说毫无价值。应尽可能从搜索引擎索引中删除重复、过时或敏感的内容,以便让搜索引擎专注于您想要排名的内容并保持抓取公平性。
立即获取免费 PPC 审计!
那么,如何从搜索引擎索引中删除内容以使您的搜索引擎优化 (SEO) 程序受益呢?下表一目了然地为您提供了答案。请继续阅读以了解每种方法的详细说明。
从索引中删除内容的 4 种方法
301 重定向
只要有可能,301 重定向就是首选做法,因为它可以完成三件重要的事情:
取消索引 URL:当某个 URL 被 301 重定 哥伦比亚电话号码领先 向时,Google 会将其视为“替代 URL”,用 Google 的话来说,它最终会“消失”。
传递链接权限:链接权限是主要排名因素之一,是通过来自其他页面的链接传递给 URL 的值。301 重定向保留了有价值的链接权限并将其转移到目标页面。
将用户移至新 URL:用户看到的主要操作是跳转到编码到重定向中的目标 URL。并非所有需要从索引中删除的内容都可以重定向,因为某些对 SEO 价值较低的内容(例如带有电子商务排序参数的 URL)对用户来说却具有很高的价值。
404 文件未找到错误
这些错误的特点是其错误页面有时很搞笑。但对搜索引擎来说,更重要的是它们发送的服务器标头状态代码。404 状态代码告诉搜索引擎 URL 不再存在,并取消索引内容。不幸的是,URL 可能拥有的任何链接权限都会随着 URL 的消失而消失。
Meta Robots Noindex 标签
元标记位于 HTML 代码的头部。它告诉搜索引擎不要索引该页面,并且通常会(但并非总是)遵守。如果搜索引擎认为该页面非常有价值,尤其是当其他网站有大量指向该页面的链接时,搜索引擎仍可能会抓取该页面以确定该页面仍未被索引。
Google Search Console 的删除 URL 工具
显然,这种方法只适用于 Google,但它是取消索引页面的最强信号。删除过程很快生效——通常在一天之内。但是,删除是暂时的,持续“大约”六个月。如果您想永久从索引中删除 URL,则需要使用其他方法。您还需要小心使用删除工具——人们会意外删除他们想要索引的内容,包括整个网站。
3 种不从索引中删除内容的方法
302 重定向
您所做的大多数重定向都是 301 重定向。但是,如果重定向确实是临时的,并且您重定向的内容将返回到相同的 URL,那么 302 重定向是正确的做法。302 重定向是一种服务器标头状态代码,它可移动用户,并且是向搜索引擎发出的将链接权限传递给重定向到的页面的弱信号。但它们不会提示取消索引。如果您想取消索引内容,则通过服务器标头状态代码执行 301 重定向或 404 错误是正确的方法。
规范标签
规范标记也位于内容页面的 HTML 文件头部,其存在的唯一原因是减少重复内容。当一个页面的多个副本位于不同的 URL 上时,应该排名的那个页面版本将被标记为规范。该页面的所有版本都会有一个规范标记,指向应该排名的页面的一个规范版本,而其他版本将被视为替代页面。规范标记允许您请求您希望成为规范的页面,但如果 Google 不同意您的标记,它可以并且确实会选择自己的规范版本。因此,规范标记被解释为建议而不是命令。
Robots.txt 禁止
robots.txt 文件是一个古老的文本文件,位于您网站的根目录中。例如,https://site.com/robots.txt 是 URL 模式,您可以在其中找到任何包含 robots.txt 文件的站点。该文件包含允许和禁止语句,用于标识应该或不应该抓取的 URL。例如,网站通常不允许购物车或帐户页面。搜索机器人在抓取网站之前会访问 robots.txt 文件,以确定它们可以抓取哪些页面,哪些页面不应该抓取。Robots.txt 文件用于阻止机器人抓取内容,但它们不会提示取消索引不允许的内容。
如何从搜索引擎索引中删除内容
现在您知道了每种内容删除方法的作用,但您仍然不知道何时使用它们来删除内容。好消息是,我们可以通过几个简单的问题来回答这个问题。下面的流程图会有所帮助,我将在下面解释每个步骤。
它已被索引了吗?
上面用黄色突出显示的六个问题中的第一个问题涉及您想要排除在索引之外的内容是否已被索引。如果没有,使用 robots.txt 禁止将阻止其将来被索引。但是,一旦内容被索引,它就不会取消索引。如果内容已被索引,您需要转到下一个问题。
您需要立即将其移除吗?
如果内容敏感或不正确,会影响财务或生活,那么您可能没有时间以通常的方式取消索引内容。 Google Search Console 提供了一个 URL 删除工具,可以快速取消索引内容,通常在一天之内。
用户需要看到内容吗?
删除内容的一个典型原因是它与其他内容重复。其中一些内容对用户有用。例如,电子商务网站中的排序参数不需要编入索引,但客户需要能够使用它们。重定向排序参数将导致排序无法进行,这对于电子商务网站来说显然是不可取的。您可以决定从服务器中删除其他类型的内容而不影响用户。如果 URL 对用户有用,您需要使用非侵入性方法(如规范标记或元 robots noindex 标记)从索引中删除内容。如果内容只是重复的、过时的或对用户无用的,那么 301 重定向几乎总是正确的做法。
这个改变是暂时的吗?
如果内容确实要暂时删除并稍后再返回,那么 302 重定向是正确的答案。
您想传递链接权限吗?
这个问题的答案几乎总是肯定的,因此,当您遇到这个问题时,301 重定向或规范标记(取决于用户是否需要查看内容)几乎总是答案。当其他网站链接到您的网站时,获得的权威性和排名能力提升就像黄金一样——极其宝贵且难以获得。但是,如果您不关心传递链接权威,则可以使用 meta robots noindex 标记或 404 错误,具体取决于用户是否需要查看内容。
下次您需要从网站中删除内容时,无论出于何种原因,请记住,有四种方法可以正确执行,三种方法对您没有帮助。但这里讨论的七种操作中的每一个都在您的 SEO 计划管理中发挥着有效作用。了解您的工具箱中可用的工具,并充分利用它们。
有些内容对搜索引擎来说毫无价值。应尽可能从搜索引擎索引中删除重复、过时或敏感的内容,以便让搜索引擎专注于您想要排名的内容并保持抓取公平性。
立即获取免费 PPC 审计!
那么,如何从搜索引擎索引中删除内容以使您的搜索引擎优化 (SEO) 程序受益呢?下表一目了然地为您提供了答案。请继续阅读以了解每种方法的详细说明。
从索引中删除内容的 4 种方法
301 重定向
只要有可能,301 重定向就是首选做法,因为它可以完成三件重要的事情:
取消索引 URL:当某个 URL 被 301 重定 哥伦比亚电话号码领先 向时,Google 会将其视为“替代 URL”,用 Google 的话来说,它最终会“消失”。
传递链接权限:链接权限是主要排名因素之一,是通过来自其他页面的链接传递给 URL 的值。301 重定向保留了有价值的链接权限并将其转移到目标页面。
将用户移至新 URL:用户看到的主要操作是跳转到编码到重定向中的目标 URL。并非所有需要从索引中删除的内容都可以重定向,因为某些对 SEO 价值较低的内容(例如带有电子商务排序参数的 URL)对用户来说却具有很高的价值。
404 文件未找到错误
这些错误的特点是其错误页面有时很搞笑。但对搜索引擎来说,更重要的是它们发送的服务器标头状态代码。404 状态代码告诉搜索引擎 URL 不再存在,并取消索引内容。不幸的是,URL 可能拥有的任何链接权限都会随着 URL 的消失而消失。
Meta Robots Noindex 标签
元标记位于 HTML 代码的头部。它告诉搜索引擎不要索引该页面,并且通常会(但并非总是)遵守。如果搜索引擎认为该页面非常有价值,尤其是当其他网站有大量指向该页面的链接时,搜索引擎仍可能会抓取该页面以确定该页面仍未被索引。
Google Search Console 的删除 URL 工具
显然,这种方法只适用于 Google,但它是取消索引页面的最强信号。删除过程很快生效——通常在一天之内。但是,删除是暂时的,持续“大约”六个月。如果您想永久从索引中删除 URL,则需要使用其他方法。您还需要小心使用删除工具——人们会意外删除他们想要索引的内容,包括整个网站。
3 种不从索引中删除内容的方法
302 重定向
您所做的大多数重定向都是 301 重定向。但是,如果重定向确实是临时的,并且您重定向的内容将返回到相同的 URL,那么 302 重定向是正确的做法。302 重定向是一种服务器标头状态代码,它可移动用户,并且是向搜索引擎发出的将链接权限传递给重定向到的页面的弱信号。但它们不会提示取消索引。如果您想取消索引内容,则通过服务器标头状态代码执行 301 重定向或 404 错误是正确的方法。
规范标签
规范标记也位于内容页面的 HTML 文件头部,其存在的唯一原因是减少重复内容。当一个页面的多个副本位于不同的 URL 上时,应该排名的那个页面版本将被标记为规范。该页面的所有版本都会有一个规范标记,指向应该排名的页面的一个规范版本,而其他版本将被视为替代页面。规范标记允许您请求您希望成为规范的页面,但如果 Google 不同意您的标记,它可以并且确实会选择自己的规范版本。因此,规范标记被解释为建议而不是命令。
Robots.txt 禁止
robots.txt 文件是一个古老的文本文件,位于您网站的根目录中。例如,https://site.com/robots.txt 是 URL 模式,您可以在其中找到任何包含 robots.txt 文件的站点。该文件包含允许和禁止语句,用于标识应该或不应该抓取的 URL。例如,网站通常不允许购物车或帐户页面。搜索机器人在抓取网站之前会访问 robots.txt 文件,以确定它们可以抓取哪些页面,哪些页面不应该抓取。Robots.txt 文件用于阻止机器人抓取内容,但它们不会提示取消索引不允许的内容。
如何从搜索引擎索引中删除内容
现在您知道了每种内容删除方法的作用,但您仍然不知道何时使用它们来删除内容。好消息是,我们可以通过几个简单的问题来回答这个问题。下面的流程图会有所帮助,我将在下面解释每个步骤。
它已被索引了吗?
上面用黄色突出显示的六个问题中的第一个问题涉及您想要排除在索引之外的内容是否已被索引。如果没有,使用 robots.txt 禁止将阻止其将来被索引。但是,一旦内容被索引,它就不会取消索引。如果内容已被索引,您需要转到下一个问题。
您需要立即将其移除吗?
如果内容敏感或不正确,会影响财务或生活,那么您可能没有时间以通常的方式取消索引内容。 Google Search Console 提供了一个 URL 删除工具,可以快速取消索引内容,通常在一天之内。
用户需要看到内容吗?
删除内容的一个典型原因是它与其他内容重复。其中一些内容对用户有用。例如,电子商务网站中的排序参数不需要编入索引,但客户需要能够使用它们。重定向排序参数将导致排序无法进行,这对于电子商务网站来说显然是不可取的。您可以决定从服务器中删除其他类型的内容而不影响用户。如果 URL 对用户有用,您需要使用非侵入性方法(如规范标记或元 robots noindex 标记)从索引中删除内容。如果内容只是重复的、过时的或对用户无用的,那么 301 重定向几乎总是正确的做法。
这个改变是暂时的吗?
如果内容确实要暂时删除并稍后再返回,那么 302 重定向是正确的答案。
您想传递链接权限吗?
这个问题的答案几乎总是肯定的,因此,当您遇到这个问题时,301 重定向或规范标记(取决于用户是否需要查看内容)几乎总是答案。当其他网站链接到您的网站时,获得的权威性和排名能力提升就像黄金一样——极其宝贵且难以获得。但是,如果您不关心传递链接权威,则可以使用 meta robots noindex 标记或 404 错误,具体取决于用户是否需要查看内容。
下次您需要从网站中删除内容时,无论出于何种原因,请记住,有四种方法可以正确执行,三种方法对您没有帮助。但这里讨论的七种操作中的每一个都在您的 SEO 计划管理中发挥着有效作用。了解您的工具箱中可用的工具,并充分利用它们。