如果一名医生告知要进行手术，人们肯定首先希望了解为什么——即便对方不具备任何专业的医学知识，医生明确解释诊断理由仍然极其必要。而人工智能也一样。
众所周知，神经网络是出了名的难理解——计算机虽然能够提出一项解决方案，但却无法就产生的结论做出解释。现在，来自Google Brain团队的一名研究科学家Been Kim，正在开发一套“人类翻译器”，希望构建能够向任何人做出解释的AI软件。
约十年前，人工智能背后的神经网络技术开始快速发展，影响了从电子邮件到药物发明等各个领域，同时表现出越来越强大的学习与数据模式识别能力。然而，这种力量本身还带来了一种不容忽视的警告：一方面，现代 学习网络自主学会如何驾驶汽车以及发现保险欺诈活动具备极高复杂性，同时，也导致其内部运作方式几乎无法被理解——没错，就连AI专家也无法破解个中奥秘。因此，如果我们通过训练神经网络来识别可能存在肝癌、精神分裂症等疾病风险的患者（例如2015年纽约西奈山医院开发的「Deep Patient」 病患系统），那么结果就是，我们根本无法准确辨别神经网络实际关注的是数据中的哪些特征。这种“知识”全面分布在神经网络的各个层，其中每一层都存在数百甚至成千上万个连接。
随着越来越多行业试图通过人工智能技术实现自身决策，这种类似于“黑匣子”的问题已经不再是一种技术层面的偏执，而成为实实在在的基础性缺陷。美国国防部高级研究计划局（简称DARPA）的“XAI”项目（即可解释AI）正在积极研究这个问题，这意味着，可解释性已经由机器学习的边缘化研究转化为新的探索核心。Kim指出，“人工智能正处于发展的关键时刻，人类正在试图弄清这项技术是否真能为我们带来助益。如果我们无法解决这个可解释性问题，我们将不会继续推进这项技术，甚至有可能将其放弃。”
Kim和谷歌Brain团队的同事们刚刚开发出一套名为“概念激活矢量测试（Testing with Concept Activation Vectors，简称TCAV）”的系统，她将其描述为一种“人类翻译器”，允许用户向黑匣子AI询问某些特定高级概念，从而了解神经网络的推理过程。举例来说，如果机器学习系统经过训练学会了如何发现图像当中的斑马，那么人们就可以利用TCASV来确定这套系统在做出决策时会赋予“条纹”这一概念怎样的权重。
TCAV系统最初是在一套经过训练、拥有图像识别能力的机器学习模型上进行测试的，不过这套系统同时也适用于训练为文本识别以及对某类数据进行可视化处理的模型——例如EEG波形。Kim解释称，“这是一套通用而简单的系统，你可以将其接入多种不同的模型当中。”
我们与Kim谈到了可解释性的具体含义、其用途以及重要意义所在。以下为经过编辑与提炼的访谈内容。
图：Google Brain团队研究科学家Been Kim
问：您的职业生涯一直专注于机器学习的“可解释性”。但是，可解释性究竟意味着什么呢？
Been Kim：可解释性拥有两大分支。第一大分支是对科学的可解释性：如果你将神经网络视为研究对象，那么就可以通过科学实验以真正理解关于模型的一切细节——例如其如何做出反应，诸如此类。
可解释性的第二大分支，也就是我一直主要关注的方向——对负责任人工智能的解释能力。我们不需要了解模型中的所有细节，但必须通过理解来确定我们能够以安全的方式使用这种工具，这也正是我们设定的目标。
问：那么您要如何对一套不完全了解其运作方式的系统建立信心？
Been Kim：这里我想打个比方。假设我的后院有一棵树，我想把它砍掉，让院子看起来清爽一点。我可能拥有一把能够搞定这项工作的链锯。目前，我还不完全了解链锯的工作原理，但产品手册上提到：“请注意以下事项，以防用户削到手指。”因此根据这本手册的说明，我更倾向于使用电钮而非手锯，因为虽然后者上手难度更低，但我可能得花上5个小时才能完成砍树任务。
也就是说，你能够理解“砍树”是什么意思；如此一来，即使你并不很明白链锯的工作原理，也能够利用它实现这一目标。
没错，可解释性中第二大分支的目标就是：我们是否能够充分理解一种工具，从而以安全的方式加以使用？我们可以将确定有效的人类知识反映到工具当中，进而建立起这种理解。
问：那么，“反映人类知识”的方式是如何让黑匣子AI这类系统具备可理解性的？
Been Kim：下面我想列举另一个例子。如果医生使用机器学习模型进行癌症诊断，那么医生本人肯定希望确保模型当中不存在那些来自我们不希望使用的数据的某些随机相关性。要保障这样的要求，一种可行的方法就是，确定机器学习模型正在以与人类医生类似的方式执行诊断流程。换句话说，也就是将医生自己的诊断知识反映在这套机器学习模型当中。
因此，如果医生们会研究细胞样本以诊断癌症，他们可能会在样本当中寻找一种被称为“融合腺体”的东西。此外，他们可能也会考虑到患者的年龄，以及患者过去是否拥有过化疗经历等等。这些因素正是医生在尝试诊断癌症时所关心的因素或者概念。如果我们能够证明机器学习模型也在关注这些因素，那么该模型的可理解性将显著提升，因为其确实反映出与医生相符的人类知识运用行为。
12下一页>（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
