谷歌、雅虎、微软三大竞争对手周四宣布一项合作,将支持一个新的万维网标准,允许万维网出版商从自己的网站去除复制网页,这将使搜索引擎收录更多网页,使搜索结果更全面。
谷歌工程师马特-卡茨表示:“网上有很多冗余内容,出版商以后将能清除很多垃圾,我认为这很快就会受到欢迎。”
很多出版商有多个URL,都指向同一个页面,这让搜索引擎感到困惑,有时会多次收录这一页面,据估计网上有20%的页面是复制页面。谷歌工程师提出一个方案让出版商标志一个URL是复制页面还是主要页面,雅虎和微软都同意了这一标准。微软项目经理内森-巴基亚表示:“我们很高兴大家支持相同的标准,这对出版商明显有利,让他们能通过搜索引擎更多地曝光。”
所有搜索引擎都或多或少地开发了复制页面的鉴定技术,新的“权威链接标记”(Canonical Link Tag)标准将使出版商和搜索引擎解决问题都更轻松。