算法“黑箱”下AI信任存疑，可解释性AI迎来发展“元年”

科技云报道原创。

天才在左，疯子在右，天才与疯子只有一线之隔。

对于AI而言，人们由于不清楚AI是如何对决策进行判断的，某些场景下，“人工智能”到“人工智障”往往也只有一步之遥。

而打破这种问题的关键，在于对AI技术的可解释性。

可解释AI的概念，对于业界来说，既是一个新话题，也是一个老话题。

AI一路发展至今，对其不信任的言论始终如影随形，究其根源，还是由于人们对AI在决策过程中的不了解引起的。

在现阶段，除了部分领域之外，可解释性现已成为AI的关键要求。

机器学习中的AI算法“黑箱”

随着AI已经成为通用型的技术，人类对AI一直抱有更高的期待。

不少人坚信，科幻电影《Her》中的AI机器人可对行为做出解释，从而帮助人类做出决策，甚至与人类产生 交流的一幕，迟早也会出现在人们的日常生活之中。

当然，这些过于理想化的场景目前还只能存在于科幻作品中，实践中的可解释AI不论在技术上还是在体验上都还没达标，但产业的发展已经起步并快速成为行业热点。

刚刚过去的2021年，被业内专家公认为是AI的可解释元年，而不仅仅是在学界，产业界也在积极探索让AI更加透明、可解释。

其实，人工智能的可解释以及科技伦理等问题已经成为AI领域的必选项，2021年的“十四五”规划里面也明确强调要健全科技伦理的体系。

国外主流的科技公司很早就成立了自己内部的科技伦理委员会，同时还在积极研发相关的技术解决方案。

国内的互联网企业也开始采取类似的做法，如美团两次发文阐释外卖配送的相关规则，微博也公开了的热搜算法规则等。

在了解什么是可解释性AI之前，我们需要明白一个概念：可解释性。

从广义角度讲，可解释性就是当我们需要解决一件事情或者对其做决策的时候，我们需要从这件事中获得可以足够理解能帮助我们做决策的信息。

比如说，在科学研究中，当科学家们面临一个新的技术的时候，需要查阅大量资料来了解这个技术的现状和基本概念，从而对接下来的研究方向做出指导。

相反的，如果在一些场景中我们无法获得足够的信息，那它对我们来说就是不可解释的，在AlphaGo大战柯洁一战中，AlphaGo被输入的指令是“赢得比赛”，但是它在比赛过程中思考下一步棋应该怎样走的原理，我们不得而知。

具体到机器学习领域，这种输入的数据和输出答案之间的不可观察的空间通常被称为“黑箱”。

AI的算法“黑箱”，有时候甚至连开发人员都不能很好地去理解算法运作的具体细节，这就导致了AI模型的透明度和可解释性的问题。如果不解决这两个问题，不仅影响用户对AI应用的信任，而且也可能会带来算法歧视、算法安全和算法责任等方面的相关问题。

可解释的AI是人工智能，持续发展的必然产物

AI可解释性问题之所以受到重视，主要因为AI的发展虽然变得越来越强大，但也变得越来越“黑”，再者AI虽然变得越来越实用，其可靠性和应用范围也得到提高。“在一些重要的应用领域，对于AI可信任性、安全性等方面的要求也越来越高，可解释性就是满足上述要求的认知基础。

事实上，机器学习模型通常被认为是无法解释的黑匣子； 学习中使用的神经网络是人类最难理解的部分；偏见（通常基于种族、性别、年龄或位置）一直是训练AI模型所面临的长期风险。

此外，由于生产数据与训练数据不同，AI模型性能可能会受到影响甚至降低。这使得持续监控和管理模型以促进AI可解释性变得至关重要。

可解释的AI有助于促进最终用户的信任、模型可审计性和AI的高效使用，同时还降低了使用AI所面临的合规性、法律、安全和声誉风险。

对于用户来说，AI可以帮助他们做决定，但是理解为什么要做这个决定也是非常有必要的。

尤其是在军事、金融安全、和医疗检测等领域，如果不能理解AI的决策行为，一旦AI失手，将会极大的损失用户的利益。

对于AI系统开发者来说，AI的可解释性可以帮助他们在AI系统出现问题的时候更加精准的找到问题的根源所在，省去“地毯式排查”需要耗费的人力和时间，极大的提高开发效率。

另外，对于企业来说，深入了解AI做出决策的原理有利于保证决策的公平性，维护品牌和公司的利益。

除了以上几点之外，2018年，欧盟在GDPR（GeneralData Protection Regulation欧盟一般数据保护条例）上面要求，AI的算法如果参与决定，则必须要有解释的能力。政府机构对用户数据隐私的保护监管，也让企业和研究机构对可解释性AI愈加重视。

“可信任”与“可解释”成为，未来AI发展主要方向

AI想要模拟人的智力，就需要像人一样学习如何思考、如何解释。每个人都具备显性的知识和隐性的知识，其中显性知识就是我们后天习得的计算能力、逻辑判断能力，而隐性的知识就是我们的直觉、对一件事情的主观看法。

人在做决定的时候，可以做到将两种知识有效结合在一起做出判断，但是当我们做出解释的时候，这个解释一定是要显性的才可以被别人理解。

现阶段AI在 学习领域，只做到了通过概率模型来获得隐性的知识，但是在其他领域，还有许多知识图谱等系统，在模拟显性知识。

对于AI下一步的发展和应用落地来说，现阶段最大的挑战，就是如何有效的在处理问题时候，做到将显性知识和隐性知识二者结合，输出结果。

目前来看，国内企业在可解释AI实践方面还比较零碎，没有达到系统化的程度，但就整体而言，产业一直都是朝着可解释的方向有发展。

比如在医疗卫生领域，可以加速诊断、图像分析和资源优化，提高患者护理决策的透明度和可追溯性，同时还能简化药品审批流程。

在金融服务领域，通过透明的贷款和信贷审批流程改善客户体验，加快信用风险、财富管理和金融犯罪风险评估，加速解决潜在的投诉和问题，提高对定价、产品推荐和投资服务的信任度。

在刑事司法领域，则可以优化预测和风险评估流程。在DNA分析、监狱人口分析、欺诈检测和犯罪预测方面使用可解释的AI加速解决问题。

当今时代，人们迫切需要可解释的AI，而“负责任”和“可解释”的AI也确实将会是取得利益双方信任及满足未来合规需求的基石，但想要实现这一目标无疑是道阻且长的。

AI不应取代人类决策，它应该帮助人类做出更好的决策。如果人们不相信AI系统的决策能力，这些系统就永远不会得到广泛采用。

为了让人类信任AI，系统不能将所有秘密都锁定在黑匣子里，可解释AI恰恰提供了这种必要的解释。

【关于科技云报道】专注于原创的企业级内容行家——科技云报道。成立于2015年，是前沿企业级IT领域Top10媒体。获工信部权威认可，可信云、全球云计算大会官方指定传播媒体之一。深入原创报道云计算、大数据、人工智能、区块链等领域。

生成海报

免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。