阅收藏：Chilling Effects屏蔽搜索引擎抓取

Google与Chilling Effects合作在其网站上公开收到的URL删除通知，Google每年收到的删除通知数以亿计，Chilling Effects上因此包含了大量指向版权材料的网址。一个被认为含有侵权材料的网址被移除后，你在Google上检索不到多少条相关结果，但其中却可能返回Chilling Effects的相关网页。此举相当令版权所有者感到不爽。 随着对Chilling Effects 项目的批评日益增多，项目团队作出决定，在robots.txt的文件中加入了“User-agent: * Disallow: / Allow: /pages”，屏蔽了所有搜索引擎抓取。此举被认为是自我审查，但项目团队认为这是出于平衡的需要。















via Solidot