大V吴恩达曾经说过:做AI研究就像造宇宙飞船,除了充足的燃料之外,强劲的引擎也是必不可少的。假如燃料不足,则飞船就无法进入预定轨道。而引擎不够强劲,飞船甚至不能升空。类比于AI, 学习模型就好像引擎,海量的训练数据就好像燃料,这两者对于AI而言同样缺一不可。
学习是一个近几年备受关注的研究领域,在机器学习中起着重要的作用。 学习通过建立、模拟人脑的分层结构来实现对外部输入的数据进行从低级到高级的特征提取,从而能够解释外部数据。
学习
学习(Deep Learning)的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种 学习结构。
学习也称为 结构学习【Deep Structured Learning】、层次学习【Hierarchical Learning】或者是 机器学习【Deep Machine Learning】)是一类算法集合,是机器学习的一个分支。它尝试为数据的高层次摘要进行建模。
机器学习通过算法,让机器可以从外界输入的大量的数据中学习到规律,从而进行识别判断。机器学习的发展经历了浅层学习和 学习两次浪潮。 学习可以理解为神经网络的发展,神经网络是对人脑或生物神经网络基本特征进行抽象和建模,可以从外界环境中学习,并以与生物类似的交互方式适应环境。神经网络是智能学科的重要部分,为解决复杂问题和智能控制提供了有效 的途径。神经网络曾一度成为机器学习领域备受关注的方向。
我们用一个简单的例子来说明,假设你有两组神经元,一个是接受输入的信号,一个是发送输出的信号。当输入层接收到输入信号的时候,它将输入层做一个简单的修改并传递给下一层。在一个 网络中,输入层与输出层之间可以有很多的层(这些层并不是由神经元组成的,但是它可以以神经元的方式理解),允许算法使用多个处理层,并可以对这些层的结果进行线性和非线性的转换。
学习的由来
1、人脑视觉机理启示
人类每时每刻都面临着大量的感知数据,但大脑总能很容易地捕获重要的信息。人工智能的核心问题就是模仿大脑这种高效准确地表示信息的能力。通 过 近些年的研究,我们对大脑机理已有了一些了解,这些都推动了人工智能的发展。
神经学研究表明,人的视觉系统的信息处理是分级的,从低级的V1区提取边缘特征,到V2区的形状,再到更高层。人类大脑在接收到外部信号时,不是直接对数据进行处理,而是通过一个多层的网络模型来获取数据的规律。这种层次
结构的感知系统使视觉系统需要处理的数据量大大减少,并保留了物体有用的结构信息。
2、现有机器学习的局限性
学习与浅层学习相对。现在很多的学习方法都是浅层结构算法,它们存在一定的局限性,比如在样本有限的情况下表示复杂函数的能力有限,针对复杂的分类问题其泛化能力受到一定制约。
而 学习可通过学习一种深层非线性网络结构,实现复杂函数逼近,表征输 入数据分布式表示,并且能在样本集很少的情况下去学习数据集的本质特征。
虽然浅层学习的应用也很广泛,但它只对简单的计算才有效,并不能到达人脑的反应效果,这就需要 的机器学习。这些都表明浅层学习网络有很大的局限性,激发了我们对 网络建模的研究。
机器学习是数据分布式表示的必然结果。有很多学习结构的学习算法得到的学习器是局部估计算子,例如,由核方法构造的学习器,是由对模板的匹配度加权构成的。对于这样的问题,通常我们有合理的假设,但当目标函数非常复杂时,由于需要利用参数进行描述的区域数目也是巨大的,因此这样的模型 泛化能力很差。在机器学习和神经网络研究中分布式表示可以处理维数灾难和局部泛化限制。分布式表示不仅可以很好地描述概念间的相似性,而且合适的分布式表示在有限的数据下能体现出更好的泛化性能。理解和处理接收到的信 息是人类认知活动的重要环节,由于这些信息的结构一般都很复杂,因此构造
的学习机器去实现一些人类的认知活动是很有必要的。
3、特征提取的需要
机器学习通过算法,让机器可以从外界输入的大量数据中学习到规律,从而进行识别判断。机器学习在解决图像识别、语音识别、自然语言理解等问题时的 大致流程如图 1 所示。
首先通过传感器来获得数据,然后经过预处理、特征提取、特征选择,再到推理、预测和识别。良好的特征表达影响着最终算法的准确性,而且系统主要的计算和测试工作都在这一环节。这个环节一 般都是人工完成的,靠人工提取特征是一种非常费力的方法,不能保证选取的质量,而且它的调节需要大量的时间。然而 学习能自动地学习一些特征,不需要人参与特征的选取过程。
学习是一个多层次的学习,如图2所示,用较少的隐含层是不可能达到与 人脑类似的效果的。这需要多层的学习,逐层学习并把学习的知识传递给下一 层,通过这种方式,就可以实现对输入信息进行分级表达。 学的实质就是通过建立、模拟人脑的分层结构,对外部输入的声音、图像、文本等数据进行从低级到高级的特征提取,从而能够解释外部数据。与传统学习结构相比,深 度学习更加强调模型结构的 ,通常含有多层的隐层节点,而且在 学习中,特征学习至关重要,通过特征的逐层变换完成最后的预测和识别。
123下一页>(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )