阿里、浙大联合推出迁移学习模型「DEPARA」入选CVPR 2020:可将单个AI模型训练从“月”缩短至“天”

近日,浙江大学与阿里安全的研究员联合编写的论文《DEPARA: Deep Attribution Graph for Deep Knowledge Transferability》收录至CVPR 2020 Oral。其中介绍了一种通过迁移学习法,高效打造AI 模型、应对海量应用场景的 “AI训练师助手”。

旨在让AI训练模型面对新场景时不用从头学习,而是在已有模型上进行迁移,从而迅速获得相同能力的AI模型,进而缩短模型训练周期,甚至是从一个月缩短为一天。

据阿里安全图灵实验室高级算法专家析策介绍,例如在内容审核领域,不同场景的AI模型需要重新训练,以确保识别准确率而牺牲掉了时间成本。这些预训练的 模型已消耗了大量训练时间以及大规模高质量的标注数据等昂贵的计算资源。

DEPARA沿着这条思路,以提升预训练的模型的使用程度,减少针对新场景的模型训练对时间以及数据的依赖。目前实现这一目标最流行的方法是迁移学习。

浙江大学和阿里安全发现,两个预训练 模型所提取的特征之间的迁移能力可由它们对应的 归因图谱之间的相似性来衡量。相似程度越高,从不同的预训练 模型中获得的特征相关性就越大,特征的相互迁移能力也就越强。而且,“AI训练师助手”还知道从什么模型迁移知识,用模型的哪个部分迁移能最好地完成任务。也就是说,他们发现了让小白模型向AI 模型学习的高效学习方法。

“在这种方法的指导下,单个AI模型的生产周期从1个月降到1天,我们就能更快地发现不同的内容风险。”析策谈论到。

(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )

赞助商
2020-03-27
阿里、浙大联合推出迁移学习模型「DEPARA」入选CVPR 2020:可将单个AI模型训练从“月”缩短至“天”
旨在让AI训练模型面对新场景时不用从头学习,而是在已有模型上进行迁移,从而迅速获得相同能力的AI模型,进而缩短模型训练周期,甚至是从一个月缩短为一天。

长按扫码 阅读全文

Baidu
map