AlphaGo（阿尔法狗）战胜了柯洁，人工智能赢了，赢家仍然是人类！
之前介绍过 强化学习DRL，其中一个最最经典的应用就是谷歌DeepMind团队研发的围棋程序AlphaGo（阿尔法狗）。AlphaGo的胜利将 强化学习推上新的热点和高度，成为AI人工智能历史上一个新的里程碑。
有必要跟大家一起探讨一下AlphaGo（阿尔法狗），了解一下AlphaGo背后神奇的AI力量。
围棋的程序设计：
围棋是一个完美的、有趣的数学问题。
围棋棋盘是19x19路，所以一共是361个交叉点，每个交叉点有三种状态，可以用1表示黑子，－1表示白字，0表示无子，考虑到每个位置还可能有落子的时间、这个位置的气等其他信息，可以用一个361 ＊ n维的向量来表示一个棋盘的状态。则把一个棋盘状态向量记为s。
当状态s下，暂时不考虑无法落子的地方，可供下一步落子的空间也是361个。把下一步的落子的行动也用361维的向量来表示记为a。
于是，设计一个围棋人工智能的程序，就转变为：任意给定一个s状态，寻找最好的应对策略a，让程序按照这个策略走，最后获得棋盘上最大的地盘。
谷歌DeepMind的围棋程序AlphaGo（阿尔法狗）就是基于这样思想设计的。
AlphaGo概述：
AlphaGo（阿尔法狗）创新性地将 强化学习DRL和蒙特卡罗树搜索MCTS相结合， 通过价值网络（value network）评估局面以减小搜索 ， 利用策略网络（policy network）降低搜索宽度， 使搜索效率得到大幅提升， 胜率估算也更加精确。
MCTS必要性：
AlphaGo（阿尔法狗）系统中除了 强化学习DRL外，为什么还需要蒙特卡罗树搜索？
围棋棋面总共有19 ＊ 19 ＝ 361个落子位置。假如计算机有足够的计算能力，理论上来说，可以穷举黑白双方所有可能的落子位置，找到最优或次优落子策略。如果穷举黑白双方所有可能的落子位置，各种组合的总数，大约是 250＾150 数量级，即围棋的计算复杂度约为250的150次方。假如采用传统的暴力搜索方式（遍历搜索方式），用当今世界最强大云计算系统，算几十年也算不完。按照现有的计算能力是远远无法解决围棋问题的。早期计算机围棋软件通过专家系统和模糊匹配缩小搜索空间， 减轻计算强度， 但受限于计算资源和硬件能力， 实际效果并不理想。
但是到了2006年，蒙特卡罗树搜索的应用标志着计算机围棋进入了崭新阶段。
AlphaGo网络结构：
网络结构如下图所示：
AlphaGo系统组成：
AlphaGo（阿尔法狗）系统主要由几个部分组成：
1．策略网络（Policy Network）：给定当前围棋局面，预测／采样下一步的走棋。
2．快速走子（Fast rollout）：目标和策略网络一样，只不过围棋有时间限制，需要在规定时间内适当牺牲走棋质量情况下，快速落子，速度要比策略网络要快1000倍。
3．价值网络（Value Network）：给定当前围棋局面，估计是白胜还是黑胜。
4．蒙特卡罗树搜索（Monte Carlo Tree Search）：不穷举所有组合，找到最优或次优位置。
把以上这四个部分结合起来，形成一个完整的AlphaGo（阿尔法狗）系统。
蒙特卡洛树搜索 （MCTS） 是一个大框架，许多博弈AI都会采用这个框架。强化学习（RL）是学习方法，用来提升AI的实力。 学习（DL）采用了 神经网络 （DNN），它是工具，用来拟合围棋局面评估函数和策略函数的。蒙特卡洛树搜索 （MCTS） 和强化学习RL让具有自学能力、并行的围棋博弈算法成为可能。 学习（DL）让量化地评估围棋局面成为了可能。
小结：
可以说 AlphaGo 最大优势就是它应用了通用算法，而不是仅局限于围棋领域的算法。AlphaGo胜利证明了像围棋这样复杂的问题，都可以通过先进的AI人工智能技术来解决。
（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
