见识过刀剑与毒药
痴迷于火药和武器
与他人说话时常怀着恐惧
在每一处景象里看到了灾祸
每一次时钟响起，都会战栗不安
但却未厌恶那不可抗拒的压迫
——波德莱尔《恶之花》
不能偏废的用与防，是人类在驯服技术这头猛兽时永恒的主题。于是我们有了无比复杂的电力保护系统，有了交通规则与无数交通安全设备，有了宏大的互联网安全产业。
我们不会因为闪电的狰狞与触电的危险，就决定给城市断电，而是要去一层层限制它，保护它，让技术安全地为人类服务。
这样的逻辑，今天正在AI面前重新上演。大概就像人类第一次面对火焰时的恐慌一样，一百多年的科幻文化，让大众在面对AI时，首先想起的是机器人统治地球的恐惧。其实这事儿就像行星撞地球一样，是个确实可能发生但谁也不知道多久后才能发生的状况。
然而随着AI的发展与应用，这门新技术所暴露出来的危险与不确定性确实也渐渐浮出水面。那么针对AI的“绝缘胶布”和“空气开关”在哪呢？
不久之前，Deepmind在博客中透露了这样一个消息，针对AI模型可能表现出的混乱和失控，他们准备研发一种“AI保险机制”，在紧要关头给AI“断电”。一旦发现AI的恶意倾向，就主动终止AI的活动。
目前这个领域的研究，更多还是处在方向性的探索上。但是还是有一些问题需要我们来探索：假如真的有AI保险电闸这种装置，它要在哪些情况下终止AI工作？类似领域还有哪些方法在尝试保证AI安全？给AI装上安全锁这种想法，又有哪些困难，甚至不靠谱的地方？
要防范的，是哪些“AI之恶”？
首先，还是要坚定地给“AI之恶”打上引号。这就像火的使用，大概是人类历史上造成损失最严重的一种技术应用，但至少今天没有人讨论“火之恶”或者“普罗米修斯的原罪”。
而AI有点不同的是， 神经网络的复杂性构成了AI运行逻辑在某些环境下的不可解，也就是广受关注的AI黑箱问题。美国小说家霍华德·洛夫克拉夫特坚定的认为，人类最大的恐惧，就是对未知的恐惧。
而 学习作为今天AI技术的主要实践方式，确实还蒙有太多面纱。姚期智院士就曾判断，今天 学习中有很多东西是非科学的。对其神秘性的破解，已经成为AI学科的主要问题。
那么依旧神秘的AI，在应用中带来了哪些危险可能性呢？
关于AI的负面报道虽然远低于正面案例数量，但其实数量也已经不少。归结起来，有三个方面的危险，是我们今天主要需要面对的：
一、从数据到歧视
AI是能学会骂人和种族歧视的，这事儿想必大家都知道。最出名的案例，就是2016年3月，微软上线了名为Tay 的聊天机器人，但是上线不到一天，Tay 就从一个单纯可爱的19岁女孩变成了一个满口脏话与种族歧视言论的“AI疯子”，于是微软紧急下架了这款产品。这种情况，已经在多个AI聊天应用与语音助手中显现了出来，甚至很多导购、安全识别类的AI应用，也都悄然学会了看人下菜碟的本来。
其本质问题在于，AI会去学习吸收社交网络上的对话数据，然而一顿操作下来，学到的都是不堪入目的东西。 学习是建立在大数据基础上的，但如果数据中夹杂了不那么美好的数据，AI就可能将这些内容带入为行为模式。
但是如何分辨什么才是好内容呢？这个模棱两可的问题依旧没什么好的答案。
二、作为武器与黑产工具的AI
人不止可以教坏AI，还可以直接运用AI作恶。这个领域的案例屡见不鲜，英国在2015年就开始发现利用AI模型模仿用户语气来进行的邮件与电信诈骗；很多黑客展现了利用AI来盗取密码和破解安全锁的能力；甚至在国内，很多不法分子已经开始使用AI识别技术来刷电商账户和订单，从而支撑黑产的运行。
三、不靠谱的机器直觉
AI作为一种算法，显然是不以人的常识为常识的，但是很多时候无论普通人还是科研人员都会忽视这一点。著名的案例是Deepmind在一个赛艇游戏中训练AI时，发现 学习模型最终得出的结论不是一般人类玩家选择的路线，而是在游戏中疯狂转圈。虽然是个游戏，但却发人深醒，比如AI在无人驾驶场景里，或许是不按照人类交通规则来思考问题的，它可能直接从高架桥上飞下去，或者选择逆行来获得更好的通过效率。
这也不是危言耸听，今天的研究已经发现，在路牌上做一点点手脚，就可能对计算机视觉产生干扰。毕竟机器即使能看，也不是人类的“看法”。
显然，这些问题在未来的AI应用中都足够复杂与危险。那么问题来了之后，解决方案有哪些呢？
检察官、行刑者与道德家：我们用什么给AI上锁？
AI本身的失控可能与安全隐患，或许是不同于人类历史上任何技术风险的。它吸纳大量数据，又进行了复杂的内部转换，所以留给人类的困难之处在于，它不是像汽油或电力那样具有简单的安全规律，而是难以捉摸的隐秘bug。
我们经常听AI开发者讲述这样一个情况：模型跑了一遍，OK挺好的，再跑一遍，出问题了，哪出的问题，不知道……再多来两遍，好像又好了？
显然在工业这样的关键生产领域，部署这样天马行空的员工是不合适的。那么如何给AI装上安全保险装置呢？可以看到今天业界有这样几种思路。需要注意的是，这不是泾渭分明的流派之争，真正在实践AI安全的时候，是需要综合解决方案共同努力的。
一、行刑者
话题回到我们最开始提到的DeepMind。他们正在研发的AI安全技术，形象一点形容就是在复杂AI任务的背后，站立一位随时待命的“AI行刑者”。通过再研发一个功能强悍，有一套自身安全逻辑的AI系统，基于强化学习机制，来随时监控其他AI模型的工作。一旦有出格举动，立马跳闸断电。
事实上，“可中断”概念一直都是DeepMind在AI安全领域的核心理念。去年12月，他们就发布了名为《安全可中断智能体》的研究成果，展示了如何保证在中断再启动的环境下，智能体的运行效果不会受损。
让AI去监视AI，虽然技术上非常前沿，也留有若干问题，但大概是未来AI安全锁的主要研究方向，因为面对越来越复杂的 神经网络，其他问题追溯模式可能会消耗难以承担的人工成本。
然而这种新技术带来的首要疑惑，显然是“谁来监督监督者”？
12下一页>（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
