网站做久了,同一种内容往往会以好几个地址存在:带筛选参数的列表页、只换了样式的打印版、中英文各一份、http 与 https 并存。访问者点进去看到的是同一批文字,搜索引擎却要为每个地址单独做一次判断。
这里牵出两个经常被混用的概念:重复内容,规范化。前者描述现象,后者是处理方式。下面按“怎么产生的、系统怎么处理、什么时候才需要动手”三层来说。
一、重复不等于抄袭
系统判断重复用的是相似度,不是逐字比对。正文主体、标题、导航、页脚各占多少比重,计算方式并不相同。两个页面有七成文字一致,通常就会被归入同一组候选。阈值不公开,但“站内自己产生的重复”和“跨站点复制过来”在系统里的处理路径并不一样。
站内重复多数来自模板和筛选参数,属于结构问题;跨站重复才是内容问题。把两者混在一起看,很容易在错误的方向上花力气。
二、站内重复的几种常见来源
筛选参数是典型的一种。颜色、尺码、排序方式、分页,每换一个条件就生成一个新地址,内容却只差几行。这些地址若都能被外部访问和抓取,同一批内容会被记录很多次。
地址变体是第二种。带 www 与不带 www、http 与 https、末尾有斜杠与没有斜杠,在站点端没有做统一跳转的情况下会各自返回正常状态码,被当成不同页面。
多语言与多地区版本是第三种。这部分重复通常是必要的,处理方式也和前两种不同,不能一视同仁。
此外还有打印版、AMP 版、由标签和分类交叉聚合出的列表、以及仅对会员开放的同一页。这些地址本身有价值,但不该和主页面争夺同一个位置。
三、规范化标记表达的是选择,不是删除
页面头部的规范化标记,作用是指明这一组地址里以哪个为准。它不改动内容,也不阻止访问,只是告诉系统建立索引时优先采用被指向的那个地址。
这里有三个容易出错的地方。一是标记指向了不合适的目标,例如所有分页都指向第一页,导致后面的内容失去独立收录的机会。二是标记与站点地图、站内链接里的地址互相矛盾,系统收到冲突信号后往往选择保守处理。三是把内容不同的页面错误地合并,结果是其中一个页面彻底从结果里消失。
四、重复本身通常不构成问题
同一份内容出现多次,只要其中一个版本被正常收录、访问者能搜到,任务就算完成了。真正带来麻烦的是两种情况:多个版本互相竞争同一个查询,导致系统在它们之间反复切换;或者低质量变体占了收录名额,把有价值的页面挤出去。
所以处理顺序应当是先判断“有没有造成竞争”,再决定要不要动。看到重复就批量重定向,常常会顺手删掉本来是入口的页面。
五、怎么确认一个页面被算了几次
第一步,用站点指令把相关地址都列出来,看同一路径下有多少变体返回正常状态码。
第二步,看索引里实际存在几条,而不是看抓取记录有几条。抓取过不等于收录,这两件事经常被混为一谈。
第三步,查这几个地址各自对应哪些查询词。如果两条地址在同一个词上交替出现,就是明确的竞争信号。
第四步,核对规范化标记、站点地图、站内链接三处的地址是否统一。三处一致,系统才不需要猜。
总结
重复内容是网站长大的伴生现象,几乎无法完全避免,也不必完全避免。要做的是让系统清楚哪个版本代表这份内容,并确认这个选择与自己希望的一致。
判断标准可以简化成一句:同一份内容,能不能稳定地由一个地址承担收录与排名。能,就不必动;不能,再从地址统一和标记一致性入手。




