AlphaGo Zero监督学习和无监督学习：当中的利与弊

本文系网易智能工作室（公众号smartman 163）出品。聚焦AI，读懂下一个大时代！

【网易科技讯 10月24日消息】2016年，作为世界上最好的围棋选手之一，李世石在首尔的比赛中，以四比一的成绩输给了AlphaGo。无论是在围棋历史上，还是在人工智能（AI）的历史上，这都是一件大事。围棋在中国、韩国和日本的文化中具有的地位就像西方文化中的象棋一样重要。

在击败李世石后，AlphaGo在网上的一系列匿名游戏中击败了数十名知名人类选手，随后在5月重新出现，应对来自中国乌镇围棋选手的柯洁。但是柯先生的表现并不比李先生的好，最终以3-0的比分输给了计算机。

对于人工智能研究人员来说，围棋同样是被尊崇的。国际象棋在1997年出现在计算机上，Garry Kasparov与IBM的一台名为深蓝的计算机进行对抗，最后输掉了比赛。但是，在李世石失败之前，围棋的复杂性让其很难在机器上表现。AlphaGo的胜利十分引人，它充分展示了一种名为“机器学习”的人工智能力量，目标是让计算机教会自己一些复杂的任务。

AlphaGo通过研究人类专家棋手之间的数千场对抗，进而从这些游戏中学习规则和策略，然后在数百万场比赛中不断改进，从而学会围棋。这足以让它比任何人类都更强大。但是AlphaGo的公司，DeepMind的研究人员相信，他们可以改进这一技术。在刚刚发表在《自然》杂志上的一篇论文中，他们公布了最新版本的“AlphaGo Zero”。它在游戏中表现得更好，学得更快，需要更少的计算硬件便可以做得好。不过，最重要的是，与原版不同的是，AlphaGo Zero在没有向人类专家求助的情况下，成功地自学了这款游戏。

这一技术立刻吸引了很多关注。像很多游戏一样，学习围棋虽然容易，却很难玩好。两名持黑子与白子选手轮流在一个由19条垂直线和19条水平线组成的棋盘交叉处放置棋子。目标是占领比对手更多的领土。被对手包围的棋子将从棋盘上移除。玩家继续前进，直到双方都不愿继续。然后，每个人都将他的棋子数目加到所环绕空网格的交叉点上。最后，数量多的将成为赢家。

困难来自于多种可能的走法。19x19的棋盘上有361个不同的地方，黑色的一方可以最先放置棋子。随后，白子有360种可能的走法。在棋盘上的走法总数有10170种，这个数字实在是太大了，因此无法进行任何物理类比（例如，可观测宇宙中大约有1080个原子）。

而人类专家则致力于在更高的层面上去理解这个游戏。围棋规则简单却会涌现出大量不同情况。玩家会谈论诸如“眼睛”和“梯子”之类的棋局，以及诸如“威胁”和“生与死”之类的概念。但是，尽管人类棋手理解这些概念，但用一种超文字的方式解释计算机程序要困难得多。相反，最初的Alpha Go研究了数千个人类游戏的例子，这个过程被称为“监督学习”。由于人类的游戏反映了人类对这类概念的理解，一个接触到棋局足够多的计算机也能理解这些概念。一旦AlphaGo在人类教师的帮助下，熟练掌握了战术和策略，便克服了重重障碍，开始参加到百万场无人监督的训练游戏，每一场比赛都提升了它的技巧。

受监督的学习比围棋更有用。这是最近人工智能领域取得进步背后的基本理念，它帮助计算机学会做一些事情，比如识别照片中的人脸，可靠地识别人类语音，有效地过滤电子邮件中的垃圾邮件。但是，正如Deepmind老板Demis Hassabis所言，监督学习是有限度的。它依赖于训练数据的可用性，以及向计算机提供数据，从而向机器显示它应该做什么。这些数据必须经过人类专家的过滤。例如，面部识别的训练数据由成千上万张图片组成，有些照片上有人脸，有些则没有，每一张照片都需要人为的标注。这使得这类数据的成本很高，前提是它们是可以获取到的。而且，正如论文指出的那样，这里可能会存在一些更细微的问题。依靠人类专家的指导，可能会限制人类对计算机能力的限制。

“AlphaGo Zero”的设计初衷是为了避免所有这些问题，从而完全跳过“火车车轮”阶段。这个项目的开展利用游戏规则和“奖励功能”，即当它赢得比赛便奖励一点，输掉则扣除一点。然后不断进行实验，反复通过游戏来对抗其他版本的自己，并受限于奖励机制，即必须尽可能多地赢得奖励，从而使奖励最大化。

这个项目是从随机放置棋子开始的，机器完全不知道自己在做什么。但它取得了快速的进步。一天之后，它的棋艺便上升到了高级专家级别。两天之后，它的表现就超过了2016年击败李世石的版本。

DeepMind的研究人员能够观察到他们的自我革新，重新发现人类几千年来积累起来的围棋知识。有时候，它看起来像人类一样诡异。经过大约三个小时，专注于“捕捉棋子”的训练，这是大多数人类初学者也必须经历的阶段。在另一些人看来，这显然是外星人。例如，“梯子”是一种棋子的排列模式，当一个玩家试图捕获一群对手的棋子时，他会在棋盘上的对角线上放置。它们是围棋游戏的常见局面。因为梯子由一个简单的重复模式组成，人类新手很快就会学会并去推断它们，对梯子“搭建”的成功与否进行评估。但AlphaGo Zero——它无法推断，而是半随机地尝试新动作——这花了比预期时间更长的时间来掌握这个技巧。

然而，自己学习而不是依靠人类的暗示，总的来说是一个很大的进步。例如，josek是表述棋盘边缘附近发生的一系列动作的特殊序列。（他们的剧本自然让他们有点像国际象棋的开场。）AlphaGo Zero发现了josek教给人类棋手的准则。但它也发现了一些完全属于自己的方法，并最终成为了自己的下棋的首选。负责AlphaGo项目的David Silver表示，这台机器似乎具有一种明显非人类的风格。

其结果是一个不仅是超人的项目，而且是令人难以接受的。围棋（和国际象棋，以及其他许多游戏）都可以用一种叫做“Elo评级”的东西来量化，它根据过去的表现给出了一个玩家可以打败另一个玩家的概率。一个球员有50:50的几率击败对手，但只有25%的几率比对手高出200分。柯先生获胜的支持率为3661。李先生的是3526。在经过40天的训练后，AlphaGo Zero的得分超过了5,000——这一数字远远领先超强选手柯洁先生，同时暗指包括柯洁在内的任何一个人类选手都没有可能打败它。当它与AlphaGo的第一个击败李斯基的版本对战时，它以100比0获胜。

当然，比起围棋，生活中还有很多别的事情。它的创造者希望，像那些为AlphaGo的不同迭代提供动力的算法，理论上可以应用于相似的任务的中。（DeepMind已经利用了AlphaGo背后的技术，帮助谷歌大幅削减其数据中心的能耗。）但是，一种无需他人指导就能学习的算法，意味着机器可以在人们不知道如何解决的问题上放手。Hassabis表示，任何可以归结为通过大量可能性进行智能搜索的事情，都可以从AlphaGo的方法中受益。他列举了一些经典的棘手问题，比如研究蛋白质如何折叠成最终的功能形状，预测哪些分子可能作为药物，或者准确地模拟化学反应。

人工智能的进步常常引发人们对人类退化的担忧。DeepMind希望这类机器最终能成为生物大脑的助手，而不是取代它们，就像从搜索引擎到纸张一样。毕竟，一台机器发明新的解决问题的方法，能够推动人们走上新的、高效的道路。Silver先生表示，AlphaGo的一个好处是，在一个充满历史和传统的游戏中，它鼓励人类棋手对古老的智慧提出质疑，并进行实验。在输给了AlphaGo之后，柯洁研究了计算机阵法，寻找灵感。之后，他又以22连胜的成绩打败了人类对手，这是一个令人印象深刻的壮举，即使对于他的对手来说也是如此。毕竟，监督学习是双向的。

生成海报

免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。