人工神经网路的研究的概念深度学习 _生活百科

文章插图
深度学习(人工神经网路的研究的概念)深度学习（Deep Learning, DL）或阶层学习（hierarchical learning）是机器学习的技术和研究领域之一，通过建立具有阶层结构的人工神经网路（Artifitial Neural Networks, ANNs），在计算系统中实现人工智慧。由于阶层ANN能够对输入信息进行逐层提取和筛选，因此深度学习具有表征学习（representation learning）能力，可以实现端到端的监督学习和非监督学习。此外，深度学习也可参与构建强化学习（reinforcement learning）系统，形成深度强化学习。
深度学习所使用的阶层ANN具有多种形态，其阶层的複杂度被通称为“深度” 。按构筑类型，深度学习的形式包括多层感知器、卷积神经网路、循环神经网路、深度置信网路和其它混合构筑。深度学习使用数据对其构筑中的参数进行更新以达成训练目标，该过程被通称为“学习” 。学习的常见方法为梯度下降算法及其变体，一些统计学习理论被用于学习过程的最佳化。
【人工神经网路的研究的概念深度学习】在套用方面，深度学习被用于对複杂结构和大样本的高维数据进行学习，按研究领域包括计算机视觉、自然语言处理、生物信息学、自动控制等，且在人像识别、机器翻译、自动驾驶等现实问题中取得了成功。
基本介绍中文名：深度学习
外文名：Deep Learning
提出者：Geoffrey Hinton，Yoshua Bengio，Yann LeCun 等
提出时间：2006年
学科：人工智慧
套用：计算机视觉，自然语言处理，生物信息学等
解释通过多层处理，逐渐将初始的“低层”特徵表示转化为“高层”特徵表示后，用“简单模型”即可完成複杂的分类等学习任务。由此可将深度学习理解为进行“特徵学习”（feature learning）或“表示学习”（representation learning）。以往在机器学习用于现实任务时，描述样本的特徵通常需由人类专家来设计，这成为“特徵工程”（feature engineering）。众所周知，特徵的好坏对泛化性能有至关重要的影响，人类专家设计出好特徵也并非易事；特徵学习（表征学习）则通过机器学习技术自身来产生好特徵，这使机器学习向“全自动数据分析”又前进了一步。背景机器学习（Machine Learning）是一门专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能的学科。机器能否像人类一样能具有学习能力呢？1959年，美国的塞缪尔（Samuel）设计了一个下棋程式，这个程式具有学习能力，它可以在不断地对弈中改善自己的棋艺。4年后，这个程式战胜了设计者本人。又过了3年，这个程式战胜了美国一个保持8年之久的常胜不败的冠军。这个程式向人们展示了机器学习的能力，提出了许多令人深思的社会问题与哲学问题。深度概念从一个输入中产生一个输出所涉及的计算可以通过一个流向图（flow graph）来表示：流向图是一种能够表示计算的图，在这种图中每一个节点表示一个基本的计算以及一个计算的值，计算的结果被套用到这个节点的子节点的值。考虑这样一个计算集合，它可以被允许在每一个节点和可能的图结构中，并定义了一个函式族。输入节点没有父节点，输出节点没有子节点。

文章插图
含多个隐层的深度学习模型这种流向图的一个特别属性是深度（depth）：从一个输入到一个输出的最长路径的长度。传统的前馈神经网路能够被看作拥有等于层数的深度（比如对于输出层为隐层数加1）。SVMs有深度2（一个对应于核输出或者特徵空间，另一个对应于所产生输出的线性混合）。人工智慧研究的方向之一，是以所谓 “专家系统” 为代表的，用大量 “如果-就”（If - Then）规则定义的，自上而下的思路。人工神经网路（Artificial Neural Network），标誌着另外一种自下而上的思路。神经网路没有一个严格的正式定义。它的基本特点，是试图模仿大脑的神经元之间传递，处理信息的模式。问题需要使用深度学习解决的问题有以下特徵：深度不足会出现问题。人脑具有一个深度结构。认知过程逐层进行，逐步抽象。深度不足会出现问题在许多情形中深度2就足够表示任何一个带有给定目标精度的函式。但是其代价是：图中所需要的节点数（比如计算和参数数量）可能变得非常大。理论结果证实那些事实上所需要的节点数随着输入的大小指数增长的函式族是存在的。我们可以将深度架构看作一种因子分解。大部分随机选择的函式不能被有效地表示，无论是用深的或者浅的架构。但是许多能够有效地被深度架构表示的却不能被用浅的架构高效表示。一个紧的和深度的表示的存在意味着在潜在的可被表示的函式中存在某种结构。如果不存在任何结构，那将不可能很好地泛化。大脑有一个深度架构例如，视觉皮质得到了很好的研究，并显示出一系列的区域，在每一个这种区域中包含一个输入的表示和从一个到另一个的信号流（这里忽略了在一些层次并行路径上的关联，因此更複杂）。这个特徵层次的每一层表示在一个不同的抽象层上的输入，并在层次的更上层有着更多的抽象特徵，他们根据低层特徵定义。需要注意的是大脑中的表示是在中间紧密分布并且纯局部：他们是稀疏的：1%的神经元是同时活动的。给定大量的神经元，仍然有一个非常高效地（指数级高效）表示。认知过程逐层进行，逐步抽象人类层次化地组织思想和概念；人类首先学习简单的概念，然后用他们去表示更抽象的；工程师将任务分解成多个抽象层次去处理；学习/发现这些概念（知识工程由于没有反省而失败？）是很美好的。对语言可表达的概念的反省也建议我们一个稀疏的表示：仅所有可能单词/概念中的一个小的部分是可被套用到一个特别的输入（一个视觉场景）。基本思想

人工神经网路的研究的概念 深度学习

人工神经网路的研究的概念深度学习