近日,在人工智能国际会议 (IJCAI) 举办的2020 iCartoonFace挑战赛中,腾讯优图实验室基于自研的“千寻”检测平台,首次提出面向动漫场景的卡通脸检测算法ACFD,并从国内顶尖学术机构和商业公司中脱颖而出,取得第一名的成绩。目前,论文已在arXiv公开。
优图提出的ACFD算法在IJCAI2020举办的iCartoonFace挑战赛中排名第一
卡通脸检测广泛使用在内容审核和动漫视频分析等业务场景中,现有的DSFD等通用人脸检测器难以检测到一些特定场景下的人脸,因此,优图首次提出一种面向动漫场景的非对称卡通脸检测器ACFD。ACFD是一种基于 学习的目标检测技术,属于一阶段带有锚点框的检测方法,输入一张卡通图片,ACFD便可以输出卡通图片中卡通脸的位置(x,y,w,h)以及对应的置信度。
本次,优图提出的ACFD检测算法推理速度仅为50ms且无需任何预训练模型,能够检测出动漫视频作品中的较为抽象的卡通脸:如机器人脸,类动物脸,玩具脸,简笔画脸,表情脸等。
不同于含有端正五官的正常人脸,卡通脸种类丰富,人物抽象。最为常见的有类动物脸,机器人脸,还有一些表情脸。针对这些特点,优图提出非对称卡通人脸检测算法ACFD,复用了一些经典的人脸检测器的框架,并作出创新性的改进。
ACFD包括四个部分:用来对卡通图提取6个特征图的主干网络VoVNetV3,对高低特征融合的非对称的双向特征金字塔结构ABi-FPN,动态锚点框匹配DAM和基于间隔的损失函数MC loss。
VoVNet是一种计算高效的骨干网络,其OSA模块可以输出灵活的特征表达。VoVNetV2通过添加残差连接方式解决了VoVNet训练的局限性,同时引入一种高效的注意力机制。
为进一步提升特征的灵活性,优图提出了一种更有效的骨干网络VoVNetV3。VoVNetV3在不使用预训练模型情况下,在较为抽象的动漫场景中表现优异,相比于ResNet50,VoVNetV3能够将检测指标AP (Average Precision) 从0.9018提升至0.9074。
在提取多尺度特征时,目前大部分人脸检测器采用ResNet或VGG。然而,它们仅仅可以处理方形感受野的,这可能会影响尺度差异较大的人脸检测。而卡通人脸中大约有10%的比例大于2.0或小于0.5.
优图提出的ABi-FPN模块同时进行特征融合、语义信息增强以及感受野精细处理,它可以使特征感受野更灵活。
为了在检测任务中更好的划分并分类正负样本,也就是卡通脸和背景两个类别,ACFD将传统的锚点框匹配过程改进为动态的锚点框匹配(DAM),在训练的每次前向传播后,对于困难的卡通脸用一些负样本进行锚点框的补偿。这种动态的锚点框匹配能将baseline的AP指标由0.8765提升至0.8890。
动态的锚点框匹配策略DAM
在训练的过程中使用的多任务损失函数,包括回归loss和分类loss。损失函数对补偿的锚点框计算出的loss进行了加权,并且在分类loss中引入了margin。优图提出的基于margin损失函数MC loss最终将AP提升了0.3。
卡通脸检测是许多业务的基础和关键环节,广泛使用在内容审核和动漫视频分析两个典型的场景中:
互联网上源源不断产生海量内容和数据,AI算法审核可以提升内容审核效率,降低审核成本。比如AI可以在电商平台、新闻、视频网站、短视频应用上检测识别知名IP形象的使用是否侵权。
动漫产业蓬勃发展,每年会产生大量的卡通视频。使用AI帮助检测卡通脸,理解卡通人物的人脸信息来进行动漫视频的分析。
作为腾讯旗下顶级AI实验室之一,优图一直聚焦视觉AI研究与落地,并积极拓展卡通脸等相关智能识别能力,为新闻平台、视频网站、短视频应用等业务提供技术支持和解决方案,让AI视觉识别提升应用效率。
(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )