华为云登顶HotpotQA多跳知识推理问答评测

日前,华为云在知识计算领域的多跳知识推理问答取得重大进展。基于自然语言处理领域的领先技术积累,华为云语音语义创新Lab联合华为诺亚方舟实验室在国际权威的HotpotQA评测Fullwiki Setting赛道荣登榜首,在答案模糊准确率和联合模糊准确率(Joint F1)等指标上均达到第一。

华为云登顶HotpotQA多跳知识推理问答评测

HotpotQA评测(Fullwiki Setting赛道)最新榜单(截至2021年1月20日)

作为企业重要的信息载体,数字化文档记录了大量企业知识,如何快速帮助企业员工从数字化文档中获得答案,是企业文档维护人员的痛点。为解决此问题,一方面需要较强的阅读理解技术,另一方面还需要构建一套复杂的开放域问答流程。

HotpotQA评测数据是斯坦福、CMU和蒙特利尔大学联合推出的新型问答数据集,由斯坦福的Manning教授和 学习三巨头之一的Bengio牵头构建,该数据集由多跳复杂问题以及对应的答案组成,同时包含佐证证据用来解释答案的来源。在斯坦福此前公布的SQUAD评测任务中,机器已经多次超过人类,该评测仅需要从单个篇章中找到与问题有关的答案即可,故相对简单。然而,HotpotQA评测需要从整个wikipedia或者多篇文章中找出问题相关的答案,同时要求返回问题到答案的推理链,难度大大增加更具有挑战性。该评测也吸引了来自谷歌、微软、Facebook等知名研究机构以及CMU、Stanford、华盛顿大学、清华大学、北京大学等知名高校。

挑战多跳知识推理技术高点

HotpotQA评测的难点在于机器要结合多篇文章进行多跳推理才能得出答案,并返回佐证证据。该评测分为Distractor Setting和 Fullwiki Setting两个赛道。Fullwiki Setting相较于Distractor Setting更为复杂也更接近实用价值,需要从整个维基百科文档中抽取文档,然后再从文档中提取段落,最后从段落中抽取答案,而Distractor Setting赛道会提供10篇备选的篇章。如何从大量文档段落中去多跳搜索候选,然后理解候选段落的内容提取佐证证据成为比赛的关键。

华为云联合华为诺亚方舟实验室,提出了新的检索目标hop,用于收集维基百科中隐藏的推理证据,解决复杂多跳问题,同时结合beam search对答案进行排序和融合。

华为云登顶HotpotQA多跳知识推理问答评测

从维基百科文本图谱中检索跳转(Hops)

如今,企业面临着数字化、知识化转型,知识化转型重要的关键技术就是知识的理解和推理,该技术对企业知识转型具有重大的意义和推动作用。2020年华为云推出知识计算解决方案,企业可以基于华为云知识计算解决方案打造自己的知识计算平台,用于研发、生产、运营、销售、售后服务等企业核心流程。目前,该方案已在石油、汽车、医疗、化纤、煤焦化、钢铁、交通等行业率先实践。

(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )

Baidu
map