达摩院获国际信息安全顶会最佳论文提名，揭示 文本排序模型安全隐患

11月24日消息，国际网络与信息安全领域顶会ACM CCS 2022于近日在洛杉矶召开，阿里达摩院联合武汉大学、伍斯特理工学院、印第安纳大学的研究成果获最佳论文提名奖，该论文揭示了 文本排序模型潜在的安全隐患，并探讨了检索系统的安全防御优化策略。

ACM CCS与IEEE S&P、USENIX Security、NDSS被业界称为网络安全领域“四大顶级会议”， 至今已有近30年的历史，该会议引领了国际信息安全领域研究的潮流。近年来，针对神经网络模型的对抗攻击成为业界研究的热点，攻防研究成果也不断涌现。

搜索引擎的鲁棒性问题一直是业界研究的热点，由于 文本排序模型较易受到对抗攻击的影响，即在图像上的一些像素扰动或者文本中几个字符的改变就可能会引发预测结果的极大变化，这种弱点可能被用来操纵排序结果，甚至引导观点。攻防对抗的模拟是发现系统潜在风险并增强鲁棒性的主要途径之一，然而业界在该领域的攻防研究主要集中在图像排序、文本分类和机器翻译等模型上，面向 文本排序模型的探索较少。

基于不同神经网络之间对抗样本的可迁移特性，达摩院在论文中提出通过采样目标排序模型的结果列表，无需白盒访问权限，即可训练一个模仿排序模型来产生对抗攻击文本，然后迁移到目标排序模型上验证攻击效果。通过大量的自动检测和人工评测实验证明，该方法能够以黑盒方式有效实施攻击。该论文研究成果可用于检测、评价排序模型的鲁棒性，并且为检索系统的防御优化策略提供重要参考价值。

该论文作者、达摩院高级算法专家康杨杨表示：“神经网络模型鲁棒性不足的问题由来已久，我们希望通过探索对抗攻击方法来推动模型的改进。未来，团队还将进一步探索完善的防御方法。”

据介绍，ACM CCS 2022共收到971篇有效投稿论文，最终218篇被收录，共有15篇论文获得最佳论文提名奖。本次大会，阿里巴巴共有3篇论文被收录，是论文收录数量最多的中国科技公司之一。

生成海报

免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。