“绕过规则”可能有用的一个典型场景就是,当站点已经存在并且存在一个严重问题,如果不完全重新设计就无法克服。对一个正在运行的WEB站点来说,通常一次完全的重新设计是复杂的费力的。在最好情况下,它只是在计划限定的时间内没有如期完成;在最坏情况下,由于预算或内在问题而根本不能完成。
如整个站点使用Flash,或者使用基于URL的会话处理。如果整个应用程序重写是不可能的,那么就可以使用伪装技术。伪装能够根据用户代理是人类还是搜索引擎蜘蛛,分别返回不同的内容。在前一种情况下,可以向搜索引擎蜘蛛返回基于HTML的站点版本。在后一种情况下,站点可以使用伪装来从URL地址中删除会话ID以及其他可能产生混淆的参数,从而清除蜘蛛陷阱。
使用伪装的一个众所周知的示例,就是New York Times。本来,Now York Times的网站要求用户创建一个帐户,才能查看特定的内容。
但是,这个限制并没有运用到搜索引擎身上。相反地,New York Times允许搜索引擎无需账户可浏览内容并进行索引,从而使得能够尽量获得来自搜索引擎对网站的流量 。
简单的Google site:查询显示了Google从nytimes.com索引了500万个页面。在这个SERP中,需要注意的一点就是这些结果没有“View Cache”链接。这是因为nytimes.com使用了meta noarchive标签,让搜索引擎不要缓冲自己的内容。根据近距离观察就会发现,搜索引擎从nytimes.com检索了很多页面的内容以在SERP中提供相关结果,但是内容却不是公开的。
这个示例确实强调了这个概念;那些搜索引擎认为是“黑帽”的技术,也可用于标准化的可接受目的。它还强调了Google也愿意为了某些高可信WEB站点而绕过规则。
GOOGLE声明的策略中对于伪装是毫不含糊的——伪装被认为是“黑帽”技术,并可能受到站点惩罚惩罚。但是上面的示例却跳过了这个问题。Yahoo和MSN没有这么严格。只要伪装不会误导用户就是允许的。伪装以及技术性和争论性问题。