3B大战牵出“Robots”疑云 360搜索用户数回落

本篇文章3808字，读完约10分钟

一个是在搜索引擎市场占据垄断地位的巨头，另一个是有争议的入侵者。围绕搜索引擎的这场“3b战争”已经进入了第二轮:钓鱼。

几天前，百度工程师发布了“鬼节捉鬼”的钓鱼策略，引发了360的争论，360一直把隐私和安全作为它的名片。问题在于一个叫做机器人的协议。360被指控不遵守协议，并直接使用浏览器抓取用户的浏览信息，这可能导致用户的信息被泄露。反对“3b战争”的百度等互联网公司发出呼吁，要求员工卸载360浏览器。搜狗首席执行官王小川也表示，他应该遵守机器人协议，担心360将是一个安全的裁判和球员。

据cnnic最新统计，360搜索覆盖的中国网民比例从上周的13.04%下降到11.61%，覆盖人数从3420万下降到3052万。在过去的一周里，流失的用户数量已经达到了368万。

在第二轮3b战争中，争议在于浏览器直接收集网络信息。根据《国家商报》的一项调查，浏览器开发者认为机器人协议是“谷歌自己制定的协议规范”，“甚至不是行业规范”，目前搜索引擎对用户隐私的定义仍然是空·怀特。

百度捕捉“幽灵”的非原创方式

8月31日，百度工程师发布的一条微博引发了业内的广泛讨论。

百度互联网数据R&D部经理赵明华表示，百度工程师制作的几个特别页面没有外部链接。因为搜索引擎爬虫只能通过链接抓取页面，所以这个页面是一个完全封闭的“孤岛”，不能被搜索引擎抓取。但令人惊讶的是，百度工程师试图在360搜索中输入上述关键词，结果网页突然出现在搜索结果的第一行，他们可以直接点击进入并浏览网页内容。但百度、谷歌、搜狗和搜搜等其他浏览器搜索相同的内容，但它们无法返回相应的网页。

为什么一个完全封闭的网页可以被360搜索引擎抓取？赵明华解释说，他用360浏览器打开了这个网页。在360浏览器的隐私政策中，规定360安全浏览器将在用户的计算机上记录有关浏览历史的实用信息。

百度认为，百度的网络钓鱼过程揭示了360搜索的潜在安全隐患:只要用户通过360浏览器访问了一个网页，公司内部网的私人账户信息和机密数据都会被360浏览器记录下来，被360搜索爬虫抓取并上传到360服务器。

然而，360有自己的说法。360在官方微博上指出，百度用所谓的“孤岛”数据诽谤360，以泄露用户隐私。事实上，百度的做法很简单，只要引导360个爬虫通过外部链接抓取页面，同时屏蔽其他搜索引擎，然后切断外部链接，就会造成只有360个搜索包含所谓“孤岛”的假象。

9月2日，360董事长周回复。"这是百度滥用机器人协议，阻碍360进入搜索市场."

百度的“鬼节捉鬼”行为并不是互联网行业的首例。2011年初，谷歌也采取了这种方法，因为它怀疑必应会从搜索结果中学习。

2010年10月，谷歌发现必应的搜索结果与谷歌的重叠越来越多，同一标题结果的趋势越来越高，于是必应抄袭了他们的搜索结果。

为了验证这一猜测，谷歌在去年12月进行了一次钓鱼行动。他们选择了100个异常诱饵进行人工搜索排名，并将这些关键词的搜索结果指向不相关的页面。当时，大约有20名谷歌工程师使用ie浏览器在他们的电脑上搜索这些关键词，然后通过ie在谷歌上搜索这些诱饵，诱使冰上钩。两个星期后，谷歌工程师使用了当时必应搜索的诱饵，预埋的搜索结果开始一个接一个地出现在必应搜索结果中。研究发现，冰通过ie收集用户上网的隐私数据，直接记录并上传用户访问的网站，然后将这些数据输入到搜索结果中。

搜索引擎与商业网站的博弈\

根据赵明华的说法，360绕过机器人协议，通过浏览器记录并上传用户数据和冲浪行为，形成自己的网址数据库，然后使用伪装和隐藏的爬虫捕捉快照并生成搜索结果。

那么，直接从浏览器中收集网页信息是正确的吗？

事实上，机器人并不是强制性的法律，而是搜索引擎诞生后搜索引擎和商业网站、公众知情权和用户隐私之间的妥协。

据《国家商报》报道，早期的互联网主要是一种“用户网站”模式。用户通过网站获取信息，吸引用户点击实现广告收入。然而，当谷歌把搜索引擎变成一种成功的商业模式时，许多网站原有的商业模式遭到了严重破坏。

为了保护自己的利益，欧美一些大型网站联手与谷歌谈判，要求谷歌“做点什么，但不做点什么”，于是就有了机器人协议。该协议的核心思想是要求机器人程序不要搜索站长不想直接搜索的内容，并将约束机器人程序的具体方法标准化为格式代码，成为机器人协议。一般来说，网站通过robots.txt文件实现机器人协议。

在中国使用机器人协议最典型的例子是淘宝拒绝百度搜索。此外，还有很多信息，如用户注册，电子邮件等。通过机器人协议防止在互联网上搜索。

然而，大多数中小型网站需要依靠搜索引擎来增加流量，所以他们通常不排除搜索引擎，也很少使用机器人协议。去年，当JD.com阻止Yitao.com获取数据时，它指责Yitao.com违反了机器人协议。

技术工程师乔伊在接受《国家商报》采访时表示，谷歌和百度经常通过自己的服务器抓取互联网上的内容进行索引，而360模式是让每台使用360浏览器的电脑变成360蜘蛛爬虫，将浏览过的内容上传到360服务器进行索引。

机器人协议绑定几何？\

此前，在许多“互联网战争”中，360的隐私问题被列为竞争对手质疑的焦点。

两年前，奇虎360公司的两名网络工程师利用360公司系统收集的用户信息，通过360服务器云计算后台破解了市政一卡通系统的后台密码，并为自己和三名同事的一卡通系统远程充值2600元。2011年1月，谷歌爬虫对360收集的隐私数据进行了抓取，结果包括网民在百度搜索的关键词、淘宝购物记录、金蝶内部金融网络数据以及互联网上其他链接数据“裸奔”。

对于业界的质疑，360认为百度是“肮脏的”。根据360，敏感数据，如网站背景和订单存在于每个搜索引擎。百度诽谤360上传用户数据，人为设置网络钓鱼陷阱，旨在阻止360进入搜索领域，维护其市场地位。

然而，许多中立的行业观察人士认为，这一事件的焦点不是口水战，而是机器人协议作为一种“行业自律”，是否需要更强的法律约束。

资深互联网观察家洪波指出，搜索引擎无视机器人协议，直接抓取未经授权的信息数据。如果这种行为不能从法律和监管方面及时制止，将导致行业混乱。"

鉴于像360和搜狗这样既做浏览器又做搜索的国内公司很少，我们可以比较一下同时做搜索引擎和浏览器的谷歌。

一位浏览器技术人员告诉《国家商报》，谷歌的chrome浏览器还将根据用户访问历史在主页上显示“最常访问的网站”，但不会首先出现在搜索结果中。

事实上，当“3b战争”进入第二轮时，国内互联网老板的态度已经发生了变化。

搜狗首席执行官王小川表示，欢迎360做搜索，而且行业更加开放，给网民更多选择。在此之前，王小川对“3b战争”的态度是“攻击百度，防范360”。

目前，令人尴尬的是机器人协议还没有上升到一定的高度。此前，有报道称，政府相关部门已要求百度、360和搜狗了解事态进展，希望进行调解，防止整个事件升级。从目前情况来看，相关部门正在研究360起违反机器人协议的事件。

“所谓的机器人协议实际上是谷歌自己制定的协议规范。这不是主要搜索供应商的共识或统一协议，也没有任何国内搜索引擎服务提供商公开承诺遵守机器人协议或签署类似协议或声明。”因此，机器人协议甚至不是一个行业标准，更不用说是一个国际标准。即使在美国，也只有谷歌认真对待它。”要求匿名的浏览器技术人员说。

“云”与“端”的较量

专注于云概念的搜索巨头百度与以客户为武器的360作战，这很有意义。

事实上，百度在搜索市场取得目前地位的一个非常重要的原因是，它一直在布局中文内容平台，包括知识、百科全书、帖子栏等。百度的“护城河”在于“云”，它本质上是一种媒体。它的战略思想不仅仅是提供简单的搜索，而是从一个具有分类和校对功能的搜索引擎转变为一个提供和组织内容的平台。

“在纯搜索技术前景有限的前提下，提供大量内容使得百度拥有巨大的用户粘性和流量来源。也就是说，使用谷歌搜索，也有很多百度知道的首页结果，百度百科和百度贴吧。”曹跃平说道。

事实上，早在2009年，李彦宏就说过，百度不是搜索引擎，而是第一个中国媒体平台。在刚刚结束的百度年度世界大会上，李彦宏首先开放了三个核心云功能:云存储、大数据智能和云计算。

曹跃平认为，在云中发挥力量的优势在于，直接获得的大量内容和用户数据为后来者构筑了一道“护城河”。然而，百度多年来一直缺乏在客户领域有影响力的产品，这恰好是360攻击百度的机会。

相比之下，360的竞争优势完全在于“终端”——通过浏览器和保安占领市场。

“与百度的云模式相比，360的终端模式处于产业链的下游。”曹跃平指出，360的风险在于，一旦出现更具粘性的客户端，例如，如果windows8内置了安全软件，360将是危险的。

在新进入的搜索领域，360的份额正在迅速下降。据cnnic最新统计，8月27日至9月2日的一周内，360搜索覆盖的中国网民比例从上周的13.04%下降到11.61%，覆盖人数从3420万下降到3052万，用户数量下降了368万。不管用户覆盖范围、搜索次数和光伏比，360搜索远低于搜狗和搜搜。同时，数据显示360搜索用户的搜索频率和pv值比率分别只有2.22%和1.47%，明显低于其他搜索引擎，表明用户使用360搜索的频率和深度都很低。