L先生总是好忘事，于是他每次出门随身带一个笔记本，遇到事情就记在上面。可惜的是，他只有一本笔记本，很快就记满了。于是，每次有新事情发生，他就会把原来本子上的一部分不重要的内容擦掉(遗忘)，把新接收的内容写下来(输入)。
得益于这个小本本，L先生现在可以回忆起半个月之前的事了。而且由于L先生闲着没事儿就翻翻自己的笔记本，他的脑子里也开始或多或少对很久之前的事留存了一些印象。
以上就是“好记性不如烂笔头”的故事，也与今天的主角Jürgen Schmidhuber和他的LSTM理论有关。
JürgenSchmidhuber
Jürgen Schmidhuber教授是现代循环神经网络技术发展中的关键人物之一，他帮助创造了名为“长短期记忆的循环神经网络技术”(Long-Short Term Memory)，并影响了谷歌、微软、IBM 等公司的人工智能研究。
Jürgen Schmidhuber 是瑞士人工智能实验室IDSIA 的科学事务主管，同时任教于卢加诺大学和瑞士南部应用科学与艺术学院。
他于1987年和1991年在慕尼黑工业大学先后获得计算机科学的学士和博士学位。自1987年以来，一直引领着自我改进式(self-improving)通用问题求解程序(problem-solver)的研究。
从1991年开始，他成为 学习神经网络领域的开拓者。Predictability Minimization(可预测性最小化)模型，简称PM模型，出自1992年的论文《LearningFactorial Codes by Predictability Minimization》，他是唯一作者。
1997 年，Schmidhuber 博士和 Sepp Hochreiter 发表了一篇技术论文，后来证明这篇论文对视觉和语音上的快速进展起到了关键作用。这个方法被称长短期记忆，简称LSTM。
2009 年，Schmidhuber当选欧洲科学与艺术学院院士。他获奖很多，包括 2013 年国际神经网络协会的亥姆霍兹奖，以及 2016 年电气与电子工程师协会的神经网络先锋奖。
2019年，他独立发表了一篇综述论文，再一次概览了极小极大博弈，及 PM 模型与 GAN 之间的强烈联系。他一直认为 GAN 是其 PM 模型(1992)的变体，与Goodfellow 从邮件到演讲也有多次公开交流。
他认为：GAN可以看作是 Adversarial Curiosity (1990)的特例，Adversarial Curiosity 基于两个网络之间的极小极大博弈，其中一个网络通过其概率动作生成数据，而另一个网络预测输出的结果。
PM和GAN的对比
Jürgen Schmidhuber与他的LSTM
神经网络发展历程
神经网络最早的雏形出现在1943年，心理学家McCul-loch提出了模仿神经元的结构和工作原理的MP模型。20世纪50年代末，美国科学家Frank Rosenblatt提出了感知机学习，并于 1958 年正式提出了由两层神经元组成的神经网络，称之为“感知器”。
循环神经网络(Recurrent Neural Network，RNN)是一种用于处理序列数据的神经网络，相比一般的神经网络来说，它能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义，RNN就能够很好地解决这类问题。
RNN被频繁用于分析预测序列数据，但研究表明，随着时间的推移RNN会忘记之前的状态信息，故引入了LSTM。LSTM优势在于它能够解决梯度消失的问题，还可以保留误差，用户沿时间和层进行反向传递。
LSTM近年来在很多领域表现突出，被广泛应用在机器人控制、图像分析，文档总结，视频识别、手写识别、聊天机器人、智能助手、推荐系统、预测疾病和股票市场等领域。如今，LSTM 原理已经成了 学习的根基。
例：我们所使用的智能手机语音识别功能就来自于Jurgen的研究，如今，超过10亿人可以用上IDSIA开发的算法。
Jürgen Schmidhuber的理想：通用人工智能
1963 年的 Jürgen 和他的父亲 Johann Schmidhuber 玩象棋
Jürgen Schmidhuber对机器人和通用人工智能的兴趣可以追溯到青少年时代。他从图书馆借阅了大量科普书籍和科幻小说—尤其喜欢奥拉夫·斯泰普尔顿的《造星主》、E·T·A·霍夫曼的《沙人》，以及史坦尼斯劳·莱姆的小说。
1956 年，John McCarthy(1927~2011)在达特茅斯会议上将人工智能定义为：The science and engineering of making intelligent machines.
在20世纪60年代，人工智能的研究更多处于理论阶段，随着近些年计算机算力极大增长，这一波技术浪潮会带来更多垂直产业应用的落地。Schmidhuber也将目光瞄向了推动技术成果向商业转化，继续投注他对通用人工智能目标的远大设想。
通用人工智能又称为AGI，其可以像人类一样应对不同层面的问题，还具有自我学习、理解复杂理念等多种能力。
在追求通用人工智能的道路上，最为著名的公司当属DeepMind，该公司创造了AlphaGo，在2014年被谷歌收入麾下。鲜为人知的是，DeepMind四位创始成员中有两位来自Schmidhuber所在的IDSIA。
2014 年，Schmidhuber教授参与创办了人工智能公司NNAISENSE，旨在打造第一个有实用价值的通用人工智能。其愿景为“为超人感知和智能自动化打造大规模神经网络解决方案，最终目标是推广基于通用神经网络的人工智能”。
Jürgen认为，RNN是打造通用人工智能的基础，不用很多年，我们就能够制造出基于神经网络的 AI(NNAI)，NNAI 能够通过逐步学习，跟一些动物一样聪明。
认知智能 改变世界
由华院数据主办的2019 世界人工智能大会(WAIC)“认知智能改变世界”论坛将于8月31日上午隆重开启，Jürgen Schmidhuber教授在本论坛也会带来精彩的学术分享，我们诚挚欢迎您的莅临!华院数据微信公众号后台回复“报名”立即参与。
免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。
