12月7日,自然语言处理国际顶会EMNLP 2022在阿联酋阿布扎比召开,本次大会,中国研究团队表现优异,阿里巴巴达摩院共有33篇论文被接收,是论文入选数量最多的研究机构之一。达摩院相关研究成果涵盖跨模态理解和生成预训练、知识增强的多语言预训练、具有自我评估能力的机器翻译等领域,多项成果已在魔搭社区ModelScope平台开放。
EMNLP 2022在阿布扎比召开
EMNLP是自然语言处理领域高影响力的会议之一,其在Google Scholar计算语言学刊物指标中排名第二。和传统学术会议不同,EMNLP更注重自然语言算法与各领域应用的结合,吸引了Google、微软、麻省理工学院等全球顶级科技公司和研究机构的参与。据介绍,今年大会主会和Findings共接收1381篇论文,其中主会接收论文829篇,接收率创新低仅为20%。达摩院共有22篇论文被主会接收,11篇论文被接收为Findings(不上主会报告的论文)。
达摩院NLP实验室资深算法专家邴立东在本次大会上共有8篇论文入选主会,个人入选论文数量位居全球研究者前列。他表示:“今年大会学术界和工业界的研究趋势仍在发生微妙的变化,语言模型 (Language Model) 相关的研究热度居高不下,有155篇论文在标题里提到了该关键词,此外跨模态预训练、文本生成、对比学习等领域的论文数量也在持续增长。”
EMNLP 2022大会首日议程
以大模型为例,达摩院创新性地提出了skip-connected网络结构,可解决当下多模态预训练模型训练和推理效率低,以及跨模态对齐模块中存在语义信息被视觉序列掩盖的问题,该网络可提高视觉表示中self-attention的计算效率,提速至少4倍。实验结果显示,基于该网络,达摩院通义AliceMind体系下的多模态预训练模型mPLUG用1300万公开图文数据预训练的模型,超越了传统模型上亿训练数据的效果。相关研究可应用于图像描述、图文检索、视觉定位和视觉问答等领域,基于该底座,达摩院于2021年在VQA(视觉问答)任务上实现了首次超越人类结果的突破。
据介绍,达摩院研发的阿里通义AliceMind体系涵盖预训练模型、多语言预训练模型、超大中文预训练模型等,具备阅读理解、机器翻译、对话问答、文档处理等多种能力,该模型体系已斩获36项冠军。
- 蜜度索骥:以跨模态检索技术助力“企宣”向上生长
- 比亚迪狂销超41万辆,新能源车9月销量出炉:理想、小鹏、零跑再创交付记录
- 雷军:国庆假期使用小米SU7智能驾驶 这四种极限场景须果断接管
- 112718人在线学习!松鼠Ai挑战吉尼斯世界纪录成功
- 新势力车企9月交付量:理想超5万,零跑超3万,小鹏、蔚来超2万辆
- OpenAI发布实时API公测版 3家语音API合作者揭晓
- “十一”假期首日数据:景区开启人海模式,国际机票“量价齐升”
- OpenAI开发者大会推出四大创新:提示词缓存可减少50%输入token成本
- 孟晚舟10月1日起当值华为轮值董事长 任期半年
- TechWeb微晚报:A股大涨 多家券商交易软件崩了,奢华定制版华为三折叠手机亮相
- 国家数据局发文加码数据安全,零信任将迎来提速发展
免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。