2022年,隐私计算商业化和技术迭代双提速。近日,在“机器之心”举办的「AI科技年会」上,联邦学习FATE开源社区技术指导委员会主席、加拿大工程院及加拿大皇家科学院两院院士杨强教授提出,联邦学习研究进入新阶段,下一个重点目标是如何实现“可信联邦学习”。
可信联邦学习的三大要素
2022年将成为一个新的技术分水岭——从联邦学习到可信联邦学习。
针对近两年来隐私计算和联邦学习发展和应用中面临的安全、效率等挑战,杨强教授及团队对联邦学习的理论进行了持续丰富和拓展,形成了“可信联邦学习”。据杨强教授介绍,可信联邦学习是安全可信的联邦学习,是能够满足用户和监管等各方面需求的分布式机器学习范式。
在此范式中,隐私保护、模型性能、算法效率是核心的三角基石,并且与模型的决策可解释性和模型的可监管性两大支柱,共同构成了更加安全可信的联邦学习。数据安全可证明、模型性能可使用、机器学习效率可控、决策可解释、模型可监管和普惠是可信联邦学习的核心特征。
隐私安全方面,需要可证的隐私安全,并且具有抗攻击能力;模型性能方面,参与联邦学习的模型性能效用最优,不能因为保护隐私而导致模型性能的大幅下降;算法效率方面,联邦学习应该是一个高效的过程,要尽可能地提升通讯和计算的效率;可解释和可监管方面,则需要机制透明,结果可说明、可溯源、可审计、可追责;普惠方面,利用开源等方式,降低隐私保护AI应用的门槛。
可信联邦学习是技术融合的必然走向
隐私计算有多个技术分支,近年来,研究者在每个细分领域都付出了大量努力,实现隐私计算从0到1的开拓。在技术不断发展成熟过程中,“可信联邦学习”的提出,是首次将安全、性能,效率等要素统一在共同的理论框架下。
过往有部分观点错误地认为,安全多方计算(MPC)、同态加密(HE)、可信执行环境(TEE)、差分隐私(DP)、联邦学习等,各技术分支之间是“非此即彼”的关系。一种更极端片面的观点甚至认为,联邦学习技术是通过牺牲安全性来追求效率,并以此作为反对联邦学习的理由。
对此,杨强教授及团队提出了隐私与模型性能的"No-free-lunch安全-收益恒定"定律(论文链接:https://arxiv.org/abs/2203.05816),从信息论的角度为隐私泄露和效用损失的权衡提供了一个通用的理论框架。
针对多方机器学习中不同的潜在攻击行为和对安全可能的威胁,这一理论框架揭示了对于满足“贝叶斯隐私”的多方计算系统而言,都满足“|安全|+|效能|≤常数” 这一“安全-效益恒定定律”,表明天下没有免费的午餐,想同时不泄露隐私和不降低模型性能是不可能的,但可以找到均衡点。基于这一理论框架的可信联邦学习,既不会牺牲对数据的安全保护,也不会放任模型性能和学习效率的大幅下降,而是利用安全-效益恒定定律所揭示的内在关系,将安全-性能-效率三者形成有机整体,以实现更高质量的隐私保护。
杨强教授表示,任何多方参与进行人工智能建模的过程,都绕不开可信联邦学习这一通用的机器学习范式。基于此理论框架,能够量化分析隐私计算各种技术保护方案的优劣,进而指导隐私保护算法设计。合理运用包括安全多方计算(MPC)、同态加密(HE)、可信执行环境(TEE)、差分隐私(DP)等技术手段来进行合理配置,结合分布式机器学习和人工智能算法,找到联合建模可信、可行及可控的解决方案,这就是“可信联邦学习”的核心命题。此外,通过可信联邦学习中模型的“版权保护”(FedIPR),实现数据版权的保护和结果可溯源、可审计、可解释;通过开源、开放和共享,实现普惠。这些方面将共同构建起可信联邦学习的内涵和外延。可信联邦学习将在各种场景下使隐私计算应用成为现实,极大降低隐私计算的成本,提升隐私计算应用质量,推动隐私计算的加速发展。
(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )