1月11日,机器阅读理解领域顶级赛事SQuAD (Stanford Question Answering Dataset) 刷新排名,阿里巴巴凭借82.440的精确匹配(Exact Match)分数,代表人工智能首次在阅读理解能力比赛上超越人类。
什么是机器阅读理解?
让机器像人类一样阅读文本,进而根据对该文本的理解来回答问题,这种阅读理解就像是让计算机来做我们高考英语的阅读理解题。机器阅读理解是当前AI界前沿的一个火热主题,主要涉及到 学习、自然语言处理和信息检索。如果哪一天机器真能具备相当高水准的阅读理解能力,那么很多应用便会体现出真正的人工智能。
比如搜索引擎会在真正理解文章内容基础上去回答用户的问题,而不是目前这种以关键词匹配的方式去响应用户,这对于搜索引擎领域带来的巨变很可能是颠覆性的。
机器阅读系统也能帮助医生、律师以及其他专家更快地阅读专业的医学或判例文档,从而让他们有更多的时间对病人进行治疗或构思合法抗辩。
它也能帮助人们更快地发现隐藏在汽车使用说明书或税务条例中的信息,节约时间。
微软 学习技术中心合作研究经理高剑锋说:“世界中有大量信息,尤其是互联网中;为了让信息产生价值,需要将其转化为知识,而机器阅读技术可以在信息与知识之间搭建一个桥梁。”
SQuAD:机器阅读理解界的顶级赛事
很长一段时间以来,自然语言处理的研究都是基于句子级别的阅读理解,但长文本的理解问题一直是研究的一个难点,因为这涉及到句子之间的连贯、上下文和推理等更高维的研究内容。而大数据的发展让学者们看到了这一研究方向的曙光。通过长文本点对点的学习,即对句子、短语、上下文进行建模,这一过程需要运用人工智能的推理能力。
斯坦福大学在2016年通过亚马逊众包平台(AMT)建立的SQuAD 数据集是机器阅读这一新兴领域的核心基准,它包含 10 万个(问题,原文,答案)三元组,规模远超之前的所有数据集:每个问题由人为提出,有且仅有一个维基百科文章的段落与其相关;答案来自该段落的某一片段且答案类型较为丰富;推理出答案的过程具有多样性且具有适中的难度。
SQuAD文本理解挑战赛则被斯坦福大学打造为“机器阅读理解界的ImageNet”,吸引了包括谷歌、卡内基.梅隆大学、斯坦福大学、微软亚洲研究院、艾伦研究院、IBM、Facebook等知名企业研究机构和高校的 参与,共同推进机器阅读理解的进步。
人工智能在阅读完数据集中的一篇短文之后,需要回答若干个基于文章内容的问题,然后与标准答案进行比对,得出精确匹配(Exact Match)和模糊匹配(F1-score)的结果,评分结果将实时地在SQuAD官网上进行更新。
阿里巴巴人工智能机器阅读理解打破世界纪录
2017年,微软亚洲研究院的自然语言计算研究组持续长居SQuAD榜首,但仍远未达到人类的水平。2018年开年,阿里巴巴 iDST NLP就打破纪录,创造了历史。SQuAD排行榜上,阿里和微软亚洲研究院、腾讯DPDAC NLP、科大讯飞与哈工大联合实验室、浙江大学均位于前十,让世界看到中国团队的霸榜。
此次技术的重大突破源于阿里巴巴研究团队提出的“基于分层融合注意力机制”的 神经网络模型。该模型能够模拟人类在做阅读理解问题时的一些行为,包括结合篇章内容审题,带着问题反复阅读文章,避免阅读中遗忘而进行相关标注等。
阿里巴巴自然语言处理首席科学家司罗表示,对于解决Wiki类(维基百科类)客观知识问答,机器已经取得非常好的结果,未来将继续向对通用内容的“能理解会思考”的终极目标迈进。
目前,这项技术也已经在阿里巴巴内部被广泛使用。比如,每年双11都会有大量的顾客对活动规则进行咨询。阿里小蜜团队通过使用机器阅读技术,让机器直接对规则进行阅读,为用户提供规则解读服务,是最自然的交互方式。
未来的方向
机器阅读界风起云涌,火力全开,人类真的会被超越吗?
微软亚洲研究院自然语言处理组首席研究员韦福如表示,即使机器阅读团队的系统可以在SQuAD数据集中和人表现的一样好,并不意味着机器可以像人一样真正阅读和理解,这是未来必须要面临的一个挑战。
韦福如说,人类理解文本的能力是多维度的,结合多任务(尤其是阅读理解相关的任务,例如阅读理解之后进行摘要和问答)的模型非常值得关注和期待。更进一步,虽然SQuAD提供了比较大的人工标注数据集,如何有效且高效地使用未标注的数据也是非常值得期待的研究课题和方向。从任务上看,目前SQuAD的任务定义中答案是原文的某个子片段,而实际中人可能读完文章之后需要进行更复杂的推理、并组织新的文字表达出来。
“目前我们的算法基本都是抽取型的方式,未来生成型的算法也值得更多的探索和研究。另外,目前机器阅读理解关注的都是理解客观信息的能力,未来机器理解文字里面所表达出来的主观信息(例如情感)也是非常有趣并值得关注的方向。”韦福如说道。
关注【AI商业报道】,回复【2017白皮书】,可获得干货《2017人工智能产业发展白皮书》!
免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。