近日，IEEE 2021游戏会议(IEEE CoG 2021)格斗游戏AI竞赛(FTGAIC 2021)的成绩正式揭晓。网易互娱AI Lab 在竞赛的两个赛道、三个角色，共六个项目中均斩获第一，以150分的总成绩满分夺冠，一举击败来自中、日、韩等多个国家的顶级学府和科研强队，其中包括曾连续获得四次冠军和一次亚军的日本参赛队伍，以及去年夺冠的中国科学院自动化研究所，成为9年竞赛史上首个满分全胜的队伍。
IEEE CoG 2021是专注于游戏领域的人工智能国际会议，每年都有来自全球各地的专家学者和开发人员汇聚于此，共同探讨游戏技术与设计相关的前沿话题和未来趋势。FTGAIC作为大会官方举办的双人格斗游戏AI实时对抗竞赛，由于其兼具挑战性和趣味性，自2013年首次推出便吸引海内外强队踊跃参加。该竞赛要求参赛算法控制三种不同属性的格斗角色，使其在16.67ms的反应时间内从56个离散动作中做出最佳决策，进而在有限时间内快速击败对方算法控制的智能体。该赛题的根本其实是实时双人零和博弈问题，属于非完美信息博弈，在同步决策的过程中智能体无法准确获取对方正要采取的动作行为，因此会对其有效决策行为造成影响。此外，竞赛中两个角色的属性对于参赛选手而言是未知的，这也大大增加了研发的难度。
在此次竞赛中，网易互娱AI Lab创新性地使用了自研的分布式 强化学习框架和自博弈训练范式的PPO算法，该自研框架具有良好的适应性和可扩展性，支持不同规模的分布式训练，同时也支持自博弈训练范式。相比往届冠军队伍都采用的启发式搜索算法， 强化学习算法无需基于专业知识对所有搜索空间进行约减，只需在原始的状态空间和动作空间进行训练，大幅提高了AI设计效率。此外，为了避免受到游戏角色属性被修改的影响，网易互娱AI Lab在训练时还对角色属性进行了随机修改，获得了更为鲁棒的策略。最终，在Speedrunning模式下，网易互娱AI Lab的AI击败内置MCTS AI的平均用时仅为第二名的二分之一左右。而在Standard模式下，网易互娱AI Lab的AI使用三个不同角色与其他参赛队对战的胜率分别达到了 98.3%，96.7%，100%。
网易互娱AI Lab(BlackMamba)与其他参赛队的时间对比
网易互娱AI Lab(BlackMamba)与其他参赛对手的胜利局数对比
在本次大赛上，网易互娱AI Lab另辟蹊径，以 强化学习方法替代搜索性算法(蒙特卡洛树搜索、演化算法)夺得竞赛冠军，打破了后者在该比赛近五年的统治地位，证明了网易互娱AI Lab在游戏AI领域的技术优势和工程实力。从过去的国际象棋和围棋等回合制双人零和博弈，到如今更加复杂的实时策略型游戏，游戏AI一直在推动人工智能的核心发展。网易互娱AI Lab也一直将游戏AI作为研究的核心领域之一，希望能够将研究成果反哺到游戏中去，不断丰富和提升玩家的游戏体验，同时也希望AI+游戏的研究成果能够被延伸至游戏外的更广泛的应用领域，向通用型人工智能探索和迈进。
（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
