虽然没有一个放之四海而
您的内容更加独特。 皆准的标准来实现这一目标但这里有一些选择 重写高优先级页面上的内容使其更加独特。 使用动态属性自动将独特的内容注入到页面上。 删除大量不必要的样板内容。模板文本多于唯一文本的页面可能会被视为重复。 如果您的网站依赖于用户生成的内容请告知贡献者所有提供的内容都应该是唯一的。这可能有助于防止贡献者跨多个页面或域使用相同内容的情况。 面向私人的内容 优先级高 在某些。情况下 的抓取工具会访问它们不应访问的内容。如果 正在寻找开发环境它可能会在此报告中包含这些 。我们 易趣编号数据 甚至看到了 抓取为 票证设置的特定客户子域的示例。这导致了网站的爆炸性爬行主要集中在不应该考虑建立索引的 上。 这里的问题是 对网站的抓取不集中且花时间抓取（可能索引）不适合搜索者的 。这可能会对网站的抓取预算产生巨大影响。 解决方案调整您的抓取和索引计划。 该解决方案将完全取决于具体情况以及 能够访问的内容。
https://pbs.twimg.com/media/GGhZrD3aoAAsVWp?format=png&name=small
通常您要做的第一件事是确定 如何发现这些面向私人的 尤其是通过您的内部链接结构时。 从主子域的主页开始爬网查看 是否能够通过标准爬网访问任何不需要的子域。如果是这样可以肯定地说 可能会找到完全相同的路径。您需要删除指向此内容的所有内部链接以切断 的访问权限。 下一步是检查应排除的 的索引状态。谷歌是否足以将所有这些内容排除在索引之外或者是否有一些内容被纳入索引？如果 没有将大量此类内容编入索引您可以考虑。
頁:
[1]