原创 业界 互联网 通信 硬件 软件 系统 程序 数据 安全 学院 行情 评测 导购 数码 家电 产经 科技 电商 网游
首页 > 科技> 3B大战牵出Robots疑云 360一周损失用户368万

3B大战牵出Robots疑云 360一周损失用户368万

2012-09-07 09:13:55  IT亚文化 http://www.xdiy.com.cn

一个是搜索引擎市场具有垄断地位的巨头,一个是颇具争议的闯入者,这场围绕搜索引擎的“3B大战”进入了第二个回合:钓鱼。

几天前,百度工程师放出“鬼节捉鬼”的钓鱼策略,将争论引向一直以隐私安全为底牌的360。问题出在一个叫做Robots的协议上。360被指不遵守协议,直接用浏览器抓取用户浏览信息,可能致使用户信息泄露。“3B大战”的对手百度等互联网公司发出了要求员工卸载360浏览器的号召,搜狗CEO王小川也表示应遵守Robot协议,担心360在安全上做裁判又做球员。

CNNIC最新的统计数据显示,360搜索覆盖中国网民比例已由上周的13.04%降为11.61%,覆盖人数由3420万降为3052万,近一周时间,损失用户达368万。

3B大战第二回合,落在了浏览器端直接搜集网页信息的争议上。《每日经济新闻》在调查中发现,Robots协议被浏览器开发人员视为“Google自己制定的协议规范”,“连行业规范都算不上”,搜索引擎对用户隐私权的定义,目前还是空白。

百度非原创式捉“鬼”

8月31日,一则由百度工程师发布的微博引发了业内的广泛讨论。

这位名叫赵明华的百度互联网数据研发部经理称,百度的工程师制作的几个特殊页面没有任何外链,由于搜索引擎爬虫只能通过链接爬行网页,因此这个网页是完全封闭的 “孤岛”,不可能被搜索引擎抓取到。但令人意外的是,百度工程师试着在360搜索中输入以上关键词,结果这个网页赫然出现在搜索结果第一行,并可以直接点击访问浏览网页内容。但再换百度、谷歌(微博)、搜狗、搜搜等其他浏览器搜索相同内容,却无法返回相应网页。

为什么一个完全封闭的网页竟然能被360搜索引擎抓取到?赵明华的解释是,他曾用360浏览器打开过这个网页。在360浏览器的隐私策略中,注明了360安全浏览器会在用户的计算机上记录有关浏览历史记录的实用信息。

百度认为,百度钓鱼流程揭示了360搜索存在安全隐患:只要用户通过360浏览器访问过一个网页,无论是私人账号信息,还是公司内网机密数据,都会被360浏览器记录下来,并被360搜索爬虫抓取、上传到360服务器。

不过,360却有着自己的说法。360在官方微博上指出,百度以所谓的“孤岛”数据污蔑360泄露用户隐私。其实百度的做法很简单,只要通过外部链接引导360爬虫抓取页面,同时屏蔽其他搜索引擎,然后切断外链,就可以造成只有360搜索收录所谓“孤岛”的假象。

9月2号,360董事长周鸿祎(微博)对此回应,“这是百度在滥用Robots协议,阻碍360进入搜索市场。”

百度“鬼节抓鬼”的行为,在互联网界并非首例。2011年初,谷歌由于怀疑必应借鉴其搜索结果,也采取过这种做法。

2010年10月份,谷歌注意到Bing的搜索结果越来越多地和谷歌重合,头条结果相同的趋势也越来越高,由此必应抄袭了他们的搜索结果。

为了验证猜想,谷歌在去年12月进行了一场钓鱼行动。他们选择了100个异常钓饵进行手动搜索排名,将这些关键词的搜索结果指向毫无关联的页面。当时约20位谷歌工程师在电脑上使用IE浏览器来搜索这些关键词,然后通过IE在谷歌上搜索这些钓饵,诱使必应上钩。两周后,谷歌工程师再通过必应搜索当时的钓饵,预先埋下的结果就开始陆续出现在必应结果中,由此发现必应通过IE收集用户上网的隐私数据,直接记录上传了用户访问网址并随后放入搜索结果中。

搜索引擎与商业网站博弈

赵明华称,360绕过了Robots协议,利用浏览器记录并上传用户数据和上网行为,并形成自己的网址库,再用伪装和隐藏过的爬虫来抓取快照,生成搜索结果。

那么,从浏览器端直接搜集网页信息是否正当?

实际上,Robots协议并非强制性法规,而是搜索引擎诞生后,互联网业界经过长期博弈,最终在搜索引擎与商业站点、公众知情权和用户隐私权之间达成的一种妥协。

据《每日经济新闻》了解,早期的互联网主要是“用户-网站”模式。用户通过网站获取信息,网站通过吸引用户点击来实现广告收入。不过,当谷歌把搜索引擎变成一种成功的商业模式之后,很多网站原有的商业模式遭到了严重破坏。

为了维护自身的利益,一些欧美大型网站联合起来与谷歌谈判,要求谷歌“有所为有所不为”,于是就有了Robots协议。该协议的核心思想就是要求Robots程序不要去检索那些站长不希望被直接搜索到的内容,并将约束Robots程序的具体方法规范成格式代码,就成了Robots协议。一般来说,网站是通过Robots.txt文件来实现Robots协议。

国内使用Robots协议最典型的案例就是淘宝网拒绝百度搜索。此外还有大量的用户注册、邮件等信息,都利用Robots协议来防止这些内容在互联网上被搜索到。

不过,绝大多数中小网站需要依靠搜索引擎来增加流量,因此通常并不排斥搜索引擎,也很少使用Robots协议。去年京东商城屏蔽一淘网抓取数据时,曾指责一淘网破坏了Robots协议。

技术工程师Joey在接受《每日经济新闻》采访时表示,谷歌、百度是通过都是自己的服务器不停地在网上抓内容进行索引,而360的模式是让每个使用360浏览器的电脑成为360的蜘蛛爬虫,把浏览的内容上传到360服务器上做索引。

Robots协议约束力几何?

此前,在多次“互联网大战”中,360的隐私问题均被竞争对手列为质疑的焦点。

两年前,奇虎360公司两名网络工程师利用360公司系统收集的用户信息,通过360服务器云计算后台破解了市政一卡通系统的后台密码,并远程为自己和3位同事的一卡通恶意充值2600元。2011年1月,360收集隐私数据被谷歌爬虫抓取,结果包括网民在百度搜索的关键字、淘宝购物记录、金蝶等企业内部财务网络数据等链接数据“裸奔”于互联网上。

对于此次业界的质疑,360认为纯系百度 “污蔑”。360方面表示,其网站后台、订单等敏感数据在每个搜索引擎中都是存在的。百度通过人为设置钓鱼陷阱网页来污蔑360上传用户数据,目的是为了阻止360进入搜索领域,维护其市场地位。

不过,很多的中立行业观察人士认为,该事件的重心并不在口水仗,而是作为“行业自律”的Robots协议是否需要更强有力的法律约束?

资深互联网观察家洪波(微博)指出,搜索引擎无视Robots协议,直接抓取未经授权的信息数据,这样的行为如果不能从法律和监管上及时制止,将引发行业大乱。”

鉴于国内像360和搜狗这样既做浏览器又做搜索的公司比较少,可以对比同样既做搜索引擎又做浏览器的巨头:谷歌。

一位浏览器技术人员对《每日经济新闻》表示,谷歌的Chrome浏览器也会根据用户访问的历史记录在首页给出“最常访问的网站”,但不会优先出现在搜索结果中。

实际上,在“3B大战”进入第二轮时,国内互联网大佬的态度已经发生了转变。

搜狗CEO王小川表示,欢迎360做搜索,行业更加开放,给网民更多选择。而在此之前,王小川对“3B大战”的态度是“进攻百度防范360”。

目前尴尬的是,Robots协议并没有上升到一定的高度。此前有消息称,政府相关部门已找百度、360、搜狗各方了解事态进展,希望能够从中调停,并防范整个事件升级。从目前情况看,相关部门正在对360违反Robots协议的事件进行研究。

“所谓Robots协议,其实就是谷歌自己制定的一个协议规范,并不是各大搜索厂商的共识或统一的协议,也从来没有任何一家国内搜索引擎服务商公开承诺遵守Robots协议或签署类似的协议或声明。”所以说,Robots协议连个行业规范都算不上,更别说什么国际标准了,即便在美国,也只有Google把它当回事。“上述不愿意透露姓名的浏览器技术人员表示。

“云”与“端”的较量

主打云概念的搜索巨头百度,与以客户端为武器的360交战,颇具深意。

事实上,百度之所以取得目前的搜索市场地位,一个很重要的原因就是其一直在布局中文内容平台,包括知道、百科、贴吧等。百度的“护城河”在“云”,本质上是一家媒体,其战略思路不是仅提供单纯的搜索,而是从具备分类、整理的搜索引擎转化为提供、组织内容的平台。

“在单纯的搜索技术提高前景有限的前提下,提供大量的内容使百度具有了巨大的用户黏性和流量来源。即使用谷歌搜索,首页结果里也有大量的百度知道,百度百科与百度贴吧的内容。”曹悦平表示。

事实上,早在2009年李彦宏就曾说过,百度不是搜索引擎,而是第一中文媒体平台。而在刚刚结束的百度一年一度的世界大会上,李彦宏首次将云存储、大数据智能、云计算三大核心云能力开放出来。

在曹悦平看来,在云端发力的好处在于,直接获取的大量内容和用户数据对后来者筑起了“护城河”。但百度多年来在客户端领域一直缺乏具有影响力的产品,这恰好是360此次进攻百度的机会。

相比之下,360的竞争优势完全在 “端”——靠浏览器和安全卫士来占领市场。

“360的端模式,相对于百度的云模式,在产业链上处于下游。”曹悦平指出,360的风险在于,一旦再出来一个黏性比它更大的客户端,比如Windows8如果内置了安全软件,那么360就危险了。

在新进入的搜索领域,360的份额正在迅速下滑。CNNIC最新的统计数据显示,8月27日~9月2日一周,360搜索覆盖中国网民比例已由上周13.04%降为11.61%,覆盖人数由3420万降为3052万,用户减少368万。无论用户覆盖率、搜索次数和PV占比,360搜索都远低于搜狗、搜搜等。同时数据显示,360搜索用户搜索次数和PV值比例仅为2.22%和1.47%,明显低于其他搜索引擎,表明使用360搜索的用户的使用频率和深度都很低。

来源:每日经济新闻
发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表