人工神经网路的研究的概念深度学习( 二 ) _生活百科

文章插图
深度学习的核心思想假设我们有一个系统S，它有n层（S1,…Sn），它的输入是I，输出是O，形象地表示为： I =>S1=>S2=>…=>Sn => O，如果输出O等于输入I，即输入I经过这个系统变化之后没有任何的信息损失，设处理a信息得到b，再对b处理得到c，那幺可以证明：a和c的互信息不会超过a和b的互信息。这表明信息处理不会增加信息，大部分处理会丢失信息。保持了不变，这意味着输入I经过每一层Si都没有任何的信息损失，即在任何一层Si，它都是原有信息（即输入I）的另外一种表示。现在回到主题Deep Learning，需要自动地学习特徵，假设我们有一堆输入I（如一堆图像或者文本），假设设计了一个系统S（有n层），通过调整系统中参数，使得它的输出仍然是输入I，那幺就可以自动地获取得到输入I的一系列层次特徵，即S1, …, Sn 。对于深度学习来说，其思想就是对堆叠多个层，也就是说这一层的输出作为下一层的输入。通过这种方式，就可以实现对输入信息进行分级表达了。另外，前面是假设输出严格地等于输入，这个限制太严格，可以略微地放鬆这个限制，例如只要使得输入与输出的差别儘可能地小即可，这个放鬆会导致另外一类不同的Deep Learning方法。上述就是Deep Learning的基本思想。把学习结构看作一个网路，则深度学习的核心思路如下：①无监督学习用于每一层网路的pre-train 。②每次用无监督学习只训练一层，将其训练结果作为其高一层的输入。③用自顶而下的监督算法去调整所有层。主要技术线性代数、机率和资讯理论欠拟合、过拟合、正则化最大似然估计和贝叶斯统计随机梯度下降监督学习和无监督学习深度前馈网路、代价函式和反向传播正则化、稀疏编码和dropout自适应学习算法卷积神经网路循环神经网路递归神经网路深度神经网路和深度堆叠网路LSTM长短时记忆主成分分析正则自动编码器表征学习蒙特卡洛受限波兹曼机深度置信网路softmax回归、决策树和聚类算法KNN和SVM生成对抗网路和有向生成网路机器视觉和图像识别自然语言处理语音识别和机器翻译有限马尔科夫动态规划梯度策略算法增强学习（Q-learning）转折点2006年前，尝试训练深度架构都失败了：训练一个深度有监督前馈神经网路趋向于产生坏的结果（同时在训练和测试误差中），然后将其变浅为1（1或者2个隐层）。2006年的3篇论文改变了这种状况，由Hinton的革命性的在深度信念网（Deep Belief Networks, DBNs）上的工作所引领：Hinton, G. E., Osindero, S. and Teh, Y.,A fast learning algorithm for deep belief nets. Neural Computation 18: 1527-1554, 2006Yoshua Bengio, Pascal Lamblin, Dan Popovici and Hugo Larochelle,Greedy LayerWise Training of Deep Networks, in J. Platt et al. (Eds), Advances in Neural Information Processing Systems 19 (NIPS 2006), pp. 153-160, MIT Press, 2007Marc’Aurelio Ranzato, Christopher Poultney, Sumit Chopra and Yann LeCun Efficient Learning of Sparse Representations with an Energy-Based Model, in J. Platt et al. (Eds), Advances in Neural Information Processing Systems (NIPS 2006), MIT Press, 2007 在这三篇论文中以下主要原理被发现：表示的无监督学习被用于（预）训练每一层；在一个时间里的一个层次的无监督训练，接着之前训练的层次。在每一层学习到的表示作为下一层的输入；用有监督训练来调整所有层（加上一个或者更多地用于产生预测的附加层）；DBNs在每一层中利用用于表示的无监督学习RBMs 。Bengio et al paper 探讨和对比了RBMs和auto-encoders（通过一个表示的瓶颈内在层预测输入的神经网路）。Ranzato et al paper在一个convolutional架构的上下文中使用稀疏auto-encoders（类似于稀疏编码）。Auto-encoders和convolutional架构将在以后的课程中讲解。从2006年以来，大量的关于深度学习的论文被发表。套用1．计算机视觉ImageNet Classification with Deep Convolutional Neural Networks, Alex Krizhevsky, Ilya Sutskever, Geoffrey E Hinton, NIPS 2012.Learning Hierarchical Features for Scene Labeling, Clement Farabet, Camille Couprie, Laurent Najman and Yann LeCun, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013.Learning Convolutional Feature Hierarchies for Visual Recognition, Koray Kavukcuoglu, Pierre Sermanet, Y-Lan Boureau, Karol Gregor, Michaël Mathieu and Yann LeCun, Advances in Neural Information Processing Systems (NIPS 2010), 23, 2010.香港中文大学的多媒体实验室是最早套用深度学习进行计算机视觉研究的华人团队。在世界级人工智慧竞赛LFW（大规模人脸识别竞赛）上，该实验室曾力压FaceBook夺得冠军，使得人工智慧在该领域的识别能力首次超越真人。2．语音识别微软研究人员通过与hinton合作，首先将RBM和DBN引入到语音识别声学模型训练中，并且在大辞彙量语音识别系统中获得巨大成功，使得语音识别的错误率相对减低30% 。但是，DNN还没有有效的并行快速算法，很多研究机构都是在利用大规模数据语料通过GPU平台提高DNN声学模型的训练效率。在国际上，IBM、google等公司都快速进行了DNN语音识别的研究，并且速度飞快。国内方面，阿里巴巴、科大讯飞、百度、中科院自动化所等公司或研究单位，也在进行深度学习在语音识别上的研究。3．自然语言处理等其他领域很多机构在开展研究，2013年，Tomas Mikolov,Kai Chen,Greg Corrado,Jeffrey Dean发表论文Efficient Estimation of Word Representations in Vector Space建立word2vector模型，与传统的词袋模型（bag of words）相比，word2vector能够更好地表达语法信息。深度学习在自然语言处理等领域主要套用于机器翻译以及语义挖掘等方面。

人工神经网路的研究的概念 深度学习( 二 )

人工神经网路的研究的概念深度学习( 二 )