选择性风险可以提高AI的公平性和准确性

随着人工智能被用于更多高风险决策,强调这些决策要尽可能公平和准确,没有任何固有偏见,已成为一些学术和企业团体的追求。麻省理工人工智能实验室的研究人员发表了一篇新论文,旨在谴责在某些场景下使用选择性回归,因为这种技术会降低数据集中代表性不足的群体模型的整体性能。

这些代表性不足的群体往往是女性和有色人种,这种对他们的忽视导致了一些关于人工智能种族主义和性别歧视的报道。在一个账户中,用于风险评估的人工智能错误地将黑人囚犯标记为白人囚犯的两倍。在另一项案例中,没有任何背景的男性照片被认定为医生和家庭主妇的比例高于女性。通过选择性回归,人工智能模型可以对每个输入做出两个选择:预测或弃权。只有在对决策有信心的情况下,该模型才会做出预测,在几次测试中,通过排除无法正确评估的输入来提高模型的性能。然而,当输入被删除时,它会放大数据集中已经存在的偏见。一旦AI模型被部署到现实生活中,这将导致代表性不足的群体进一步不准确,因为它无法像在开发过程中那样删除或拒绝代表性不足的群体。最终希望确保以明智的方式考虑跨组的错误率,而不是仅仅最小化模型的一些广泛的错误率。

麻省理工学院的研究人员还引入了一种新技术,旨在提高模型在每个子组中的模型性能。这种技术被称为单调选择性风险,一种模型没有弃权,而是包含种族和性别等敏感属性,而另一种则不包含。同时,两个模型都做出决策,没有敏感数据的模型被用作数据集中偏差的校准。为这个特定问题提出正确的公平概念是一项挑战。但是通过执行这个标准,单调的选择风险,我们可以确保当减少覆盖范围时,模型性能实际上在所有子组中都变得更好。当使用医疗保险数据集和犯罪数据集进行测试时,新技术能够降低代表不足的群体的错误率,同时不显著影响模型的整体性能。研究人员打算将这项技术应用到新的应用中,比如房价、学生平均学分绩点和贷款利率,看看它是否可以用于其他任务。


企业会员

免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。

2022-08-19
选择性风险可以提高AI的公平性和准确性
这些代表性不足的群体往往是女性和有色人种,这种对他们的忽视导致了一些关于人工智能种族主义和性别歧视的报道。在一个账户中,用于风险评估的人工智能错误地将黑人囚犯标记为白人囚犯的两倍。在另一项案例中,没有任何背景的男性照片被认定为医生和家庭主妇的比例高于女性。

长按扫码 阅读全文

Baidu
map