外媒:百度在人工智能测试中作弊

百度摊上大事了,美国网站MIT科技评论近日撰文对百度在人工智能测试中违规一事做出评论。文章指出,相对于其他公司一周只“购买2张彩票”,百度行为如同一周“购买200张彩票”增加了“中奖概率”。而百度和其他科技公司不惜以违规手段吹嘘成果,可见机器学习对这些公司意义非凡。

  以下为文章全文:

  人工智能测试领域刚刚曝出了第一起作弊丑闻。上月,中国搜索引擎公司百度宣布其图片识别软件在精确度标准化测试中领先于谷歌。但本周二,该公司承诺是通过违反测试规则实现的这一成绩。

  负责维护该测试的学术专家表示,这导致百度之前的声明毫无意义。作为该项目的负责人,百度研究员Ren Wu已经公开道歉,并表示该公司正在评估结果。百度也对该软件的技术论文进行了修订。

  目前并不清楚此举是个人行为还是整个团队所为,但一家拥有数十亿美元收入的科技公司为什么要在这样一次测试中作弊呢?

  百度、谷歌、Facebook等大型科技公司最近几年都投入巨资组建研发团队,专门研究 学习技术,他们开发的机器学习软件已经在语音和图像识别领域实现了重大进展。这些公司都在不遗余力地聘请这个小领域的顶尖专家,经常会相互挖角。虽然学术界目前的人工智能标准测试数量不多,但却可以帮助这些研究团队与其他团队的成就进行对比,并向公众展开宣传。

  百度通过作弊获得了不公平的优势。要进行ImageNet Challenge测试,首先需要用150万张标准图片对其进行训练,然后将代码提交给ImageNet Challenge服务器,针对这些软件之前没有见过的10万张“验证”图片进行测试。

  按照规定,每周只能对代码进行两次测试,因为最终的结果包含概率因素。

  百度承认,该公司使用多个电子邮件帐号在短短6个月的测试期内对其代码展开了大约200次测试——超过规定测试数量的4倍。

  艾伦人工智能学院CEO表示,百度此举相当于购买了多张彩票。“如果你一周购买2张彩票,你大概有一个中奖概率。但如果你一周买200张彩票,概率就会增加。”他说。这样一来,用略有不同的代码展开多次测试,便可帮助研究团队针对一组独特的验证图片进行优化。

  在这种测试中,很小的优势也会产生巨大的不同。百度曾经表示,该公司的错误率仅为4.58%,击败了谷歌3月的4.82%。但一些专家指出,这么小的领先差距在这项测试中变得越来越没有意义。但百度和其他公司仍在努力吹嘘自己的结果,甚至不惜违反规则,足以表明在机器学习领域获得领先优势对他们而言的确意义非凡。

极客君点评:“勤能补拙”有时候看起来也不一定全对。百度此番算是摊上大事了,诚信被疑,预计会对该公司今后的国际化蒙上一层阴影。


企业会员

免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。

2015-06-05
外媒:百度在人工智能测试中作弊
百度摊上大事了,美国网站MIT科技评论近日撰文对百度在人工智能测试中违规一事做出评论。文章指出,相对于其他公司一周只购买2张彩票,百度行为如同一周购买200张彩票增加了中奖概率。而百度和其他科技公司不惜以违规手段吹嘘成果,可见机器学习对这些公司意义非凡。  以下为文章全

长按扫码 阅读全文

Baidu
map