深度学习结构和算法比较分析

1 . ２０１２拄 河北大学学报（自然科学版 ） ２０１２ 第３２卷第５期 Ｊｏｕｒｎａｌ ｏｆ Ｈｅｂｅｉ Ｕｎｉｖｅｒｓｉｔｙ（Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ Ｅｄｉｔｉｏｎ） Ｖ０１．３２ Ｎｏ．５ 深度学习结构和算法比较分析 李海峰１，李纯果２ （１．河北大学教务处，河北保定０７１００２；２．河北大学数学与计算机学院，河北保定０７１００２） 摘 要：Ｈｉｎｔｏｎ等人提出的深度机器学习，掀起了神经网络研究的又一个浪潮．介绍了深度机器学习的 基本概念和基本思想．对于目前比较成熟的深度机器学习结构深度置信网ＤＢＮｓ和约束Ｂｏｌｔｚｍａｎｎ机 （ＲＢＭ）的结构和无监督贪婪学习算法作了比较详细的介绍和比较，并对算法的改进方向提出了有建设性的 意见，对深度机器学习的未来发展方向和目前存在的问题进行了深刻的分析． 关键词：深度机器学习；无监督贪婪学习算法；ＤＢＮｓ；ＲＢＭｓ 中图分类号：ＴＰ３９１ 文献标志码：Ａ 文章编号：１０００—１５６５（２０１２）０５—０５３８一０７ Ｎｏｔｅ ｏｎ ｄｅｅｐ ａｒｃｈｉｔｅｃｔｕｒｅ ａｎｄ ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍｓ ＬＩ Ｈａｉｆｅｎ９１，ＬＩ Ｃｈｕｎｇｕ０２ （１．Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ａｃａｄｅｍｉｃ Ａｆｆａｉｒｓ，Ｈｅｂｅｉ Ｕｎｉｖｅｒｓｉｔｙ，Ｂａｏｄｉｎｇ ０７１００２，Ｃｈｉｎａ； ２。Ｃｏｌｌｅｇｅ ｏｆ Ｍａｔｈｅｍａｔｉｃｓ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，Ｈｅｂｅｉ Ｕｎｉｖｅｒｓｉｔｙ，Ｂａｏｄｉｎｇ ０７ １００２，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｄｅｅｐ ａｒｃｈｉｔｅｃｔｕｒｅｓ ｐｒｏｐｏｓｅｄ ｂｙ Ｈｉｎｔｏｎ ｅｔ ａｌ ｓｔｉｒ ｕｐ ａｎｏｔｈｅｒ ｓｔｕｄｙ ｗａｖｅ ｉｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ． Ｔｈｉｓ ｐａｐｅｒ ｉｎｔｒｏｄｕｃｅｄ ｔｈｅ ｉｄｅａ ａｎｄ ｂａｓｉｃ ｃｏｎｃｅｐｔｓ ｉｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ．ＤＢＮｓ ａｎｄ ＲＢＭｓ ａｒｅ ｔｈｅ ａｄｖａｎｃｅｄ ｓｔｒｕｃｔｕｒｅｓ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇ，ｗｈｏｓｅ ｓｔｒｕｃｔｕｒｅｓ ａｎｄ ｅｆｆｅｃｔｉｖｅ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍ ａｒｅ ａｌｓｏ ｉｎｔｒｏｄｕｃｅｄ ｉｎ ｄｅｔａｉｌ ｉｎ ｔｈｉｓ ｐａｐｅｒ．Ｉｎ ａｄｄｉｔｉｏｎ，ｏｐｅｎ ｑｕｅｓｔｉｏｎｓ ｉｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｒｅ ａｌｓｏ ｂｒｉｅｆｌｙ ｄｉｓｐｌａｙｅｄ ＳＯ ｔｈａｔ ｒｅｓｅａｒｃｈｅｒｓ ｗｈｏ ａｒｅ ｉｎｔｅｒｅｓｔｅｄ ｉｎ ｃａｎ ｄｅｖｏｔｅ ｔｈｅｍｓｅｌｖｅｓ ｉｎｔｏ ｔｈｏｓｅ ｑｕｅｓｔｉｏｎｓ ａｎｄ ｓｏｌｖｅ ｔｈｅｍ． Ｋｅｙ ｗｏｒｄｓ：ｄｅｅｐ ｌｅａｒｎｉｎｇ；ｇｒｅｅｄｙ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍ；ＤＢＮｓ；ＲＢＭｓ 随着电脑的普及与发展，智能化、机械化成为人们关注的热点．机器学习是仿照人类大脑工作的方式，让 电脑进行计算，学习到类似于大脑的工作方式．为此，研究学者需要构建计算机能够运作的模型，例如，神经 网络就是根据人类的大脑神经的激活或抑制的信号传输构建的模型［１］．神经网络的基本组成单位就是神经 元，神经元的构造方式完全模拟了人类大脑细胞的结构，如图１．但是，显而易见，人工神经元只是简单的结 构的模拟，要想达到与生物神经元有相同的功能，还远远的不够．科研工作者就其训练的方式对其进行训练。 试图让人工神经网络的运算功能尽可能的与人类接近．简单的网络已经可以进行基本的运算，甚至有２个隐 含层的非线性神经网络已经能够对任意的函数进行平滑的逼近．从１９４３年ＭｃＣｕｌｌｏｃｈ和Ｐｉｔｔｓ提出的简单 神经元开始，神经网络经历了几度兴衰．神经网络已经深入到各个领域，技术相对比较成熟，然而也很难再有 收稿日期：２０１２—０４—０５ 基金项目：保定市科学技术研究与发展指导计划项目（１２ＺＧ００５）；河北省高等学校科学研究计划项目（ＪＹＧＨ２０１１０ｔ１） 第一作者：李海峰（１９８０一），男，河北唐县人，河北大学讲师，主要从事机器学习、教学信息化等研究． Ｅ－ｍａｉｌ：ｌｉｈｆ＠ｈｂｕ．ｅｄｕ．ｃｒｌ 万方数据 

2 .第５期 李海峰等：深度学习结构和算法比较分析 新突破．人类完成的日常生活中的各种简单的动作，如果让计算机来完成，就需要高度复杂的神经网络来完 成．因此，Ｈｉｎｔｏｎ等人提出了深度学习，掀起了神经网络研究的又一次浪潮． ＮＵｃ 圈１生物神经元与人工神经元 №１ Ｓｔｒｕｃｔｕｒｅ ｏｆ Ｍ¨ｏｇＩ叫ａｎｄ＂珊垴ｍ琳—舢 １ 深度学习 深度学习是为了能够得到有助于理解图片、声音、文本等的数据所表述的意义而进行的多层次的表示和 抽取的学习［２］．例如，给定图２中的图片，大脑做出的反应是：“许多黄色的郁金香．”同样的图片．输入到计算 机中，是描述图片的最原始数据，那就是用向量表示的像素．用简单的机器学习，例如用含２个或３个隐含层 的神经网络，是不可能达到与人类类似的判别决策的．这就需要多层的学习器，逐层学习并把学习到的知识 传递给下一层，以便下层能够得到更高级别的表述形式，期望可以得到与人类类似的结论［２］． １．１学习的深度 学习器的深度，决定于学习器的构造．假设学习器为一个有向流通图，那么深度就是从开始结点到结束 结点（或从输入结点到输出结点）的最长路径．例如，一个支撑向量机的深度是２，是输人经过一个核变换到 核空间，再加上一个线性组合．再如多层前传神经网络的深度是隐含层层数加１（输出层）．如果说学习到一 次知识，就是一个深度的话，那么，学习的深度是原始数据被逐层学习的次数． 根据学习的深度，机器学习可以分为浅度学习和深度学习．对于简单的计算，浅度学习可以有效地进行 计算，例如二进制数据的逻辑运算．显然，如果想让机器达到人脑的反应效果，浅度学习是远远不够的，必须 要进行深度的机器学习，才有可能得到与人脑反应近似的结果．实际上，深度的机器学习正是模拟了人脑的 工作方式．对于图２中的图片，先由视网膜接受数据信号，视网膜通过神经链接，把看到的图片转化成脑波信 号传输到大脑中，由于大脑的不同部位处理不同的问题，信号不可能一下子就传到相应位置，需要层层传输． 同时，在信号传输过程中，大脑会提取不同的信息，饲如，花的颜色、形状、个数、位置、个体差异等等．因此，深 度的机器学习模型需要具备类似的特征，也即，深度的机器学习模型可以提取观察对象的不同方面的特征． 为此，深度的机器学习模型通常为分层结构，每一层提取数据的１个或多个不同方面的特征，并把提取出的 特征作为下一层的输入．图３是一个典型的深度学习模型． 口 …ｅｔｃ… 啊２待识嗣的圈片 圈３深度机■学习羹墨 Ｆｉｇ．２ Ｐｉｃｔｕｒｅ ｆｏｒ ｒｅｃｏｇｎｉｔｉｏｎ Ｆｉｇ．３ Ｄｅｅｐ ｋ柚咖ｇ ｍｏｄｅｌ 万方数据 

3 . 河北大学学报（自然科学版） 第３２卷 １．２深度学习的动机 从早期的神经网络的学习，到现在的深度学习，究其机制，都是从模拟大脑的构架并辅以一定的学习算 法，从而使计算机的工作方式尽可能地接近人类的工作方式．机器学习从仅有２层左右的学习构架，要向有 多层的结构发展，不仅有生物神经元的启示，也是对现有的机器学习结构的弊端的改进． 首先，人类大脑的神经元系统是一个庞大的结构，由无数个神经元共同组成，完成一定的生理功能．例如， 从视网膜到处理视网膜的大脑区域，需要经过无数层的神经元层层传递视觉信息，最终到达大脑的视觉处理区 域，然后再经过信息处理，把信息反馈到肌肉神经，或语言区域．这个过程在生物神经元系统只不过是瞬间的事 情，但是，完成这个过程，是由已经训练好的神经系统完成的，神经系统对整个过程的处理，与从出生到成人的 认知过程是分不开的．而这一切，要用电脑来完成，不是构造简单的人工神经元就能够完成的，需要大规模的神 经元组织和链接，并经过来自于外界信息的不断强化和训练．故从结构上，神经网络结构要加深． 其次，如果神经网络的层次不够深，那么，多项式级的参数个数能解决的问题就有可能需要指数级的参 数个数．例如，要计算Ⅱ：一，己：‘－。口¨计算方式不同，计算复杂度会有很大的不同．如果计算和的积，计算复 杂度为０（ｒａｎ）；如果计算积的和，计算复杂度为０（卵”）．参数多的结构不仅训练复杂，训练时间长，而且泛化 性能也很差，也容易产生过拟合问题． 再次，有很多学习结构的学习算法使得到的学习器是局部估计算子．例如，由核方法构造的学习器， 厂（ｚ）一６＋２／？；．口ｉＫ（ｚ，ｚ。），是由对模板的匹配度加权构成．对于这样的问题，往往要求被拟合函数都是平 滑的，如果不平滑，该学习器就不能很好地拟合数据．而在实际应用中的很多例子，往往不满足平滑这个条 件，或者对于被拟合函数一无所知．此时，模板匹配方法就不再可行． 最后，深度机器学习是数据分布式表示的必然结果口］．分布式表示系统是由一组信息计算单元共同完成 的，每一个概念都由不止１个信息计算单元表示，而每一个信息计算单元也参与计算不止１个概念口］．例如， ，１．ｆ—ｉ 表示整数ｉ（ｉ一１，２，…，Ｎ），有２种表示方式，～种用１个Ｎ维向量ｒ（ｉ）表示，ｒ，（ｉ）一Ｊ一。ｉ，．，另一种表示 ！ｏ，Ｊ≠ｉ 方式是用ｌｏｇ。Ｎ维的向量表示，表示方式类似于二进制．显然，后一种表示方式更紧凑，这种表示方式就是 分布式表示．分布式表示不仅可以很好地描述概念间的相似性，而且合适的分布式表示在有限的数据下能体 现出更好的泛化性能．人类的认知活动包括理解昶处理接受到的信息，这些信息的结构通常很复杂，因此，有 必要构造深度结构的学习机器去实现一些人类的认知活动． 由于其自身的复杂性，深度学习算法很多年都没有新的进展．就监督的多层神经网络来说，无论是测试 精度还是训练精度，深度学习的结果远远不如有１个或２个隐含层的神经网络的结果．直到２００６年，Ｈｉｎｔｏｎ 等人提出了贪婪无监督逐层学习算法Ｈ］，深度学习的问题才有所突破． ２ 深度学习的方法 同机器学习方法一样，深度机器学习方法也有监督学习与无监督学习之分．不同的学习框架下建立的学习 模型很是不同．例如，卷积神经网络（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ，简称ＣＮＮｓ）就是一种深度的监督学习下的 机器学习模型，而深度置信网（Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｓ，简称ＤＢＮｓ）就是一种无监督学习下的机器学习模型． ２．１卷积神经网络 ２０世纪６０年代，Ｈｕｂｅｌ和Ｗｉｅｓｅｌ在研究猫脑皮层时，发现了一种独特的神经网络结构，可以有效地降 低反馈神经网络的复杂性，进而提出了卷积神经网络口］．现在，卷积神经网络已经发展成一种高效的图像识 别方法‘６｜． 卷积神经网络的基本结构如图４所示．卷积神经网络是一种非全连接的神经网络结构，包含２种特殊的 结构层：卷积层和次抽样层．卷积层由多个特征平面构成，完成抽取特征的任务．每个特征平面由神经元构 成，在同一个特征平面上的所有神经元具有相同的连接权重．对于每个神经元，定义了相应的接受域口剖，只 万方数据 

4 .第５期 李海峰等ｔ深度学习结构和算法比较分析 接受从其接受域传输的信号，如图５．同一个特征平面的神经元的接受域具有相同的大小，故而每个神经元 的连接矩阵相同．根据卷积的数学定义，（厂＊ｇ）（ｚ）＝Ｊ ｆ（ｕ）ｇ（ｘ－－ｕ）ｄｕ，或（，＊ｇ）（以）＝２Ｓ。ｆ（ｍ）ｇ（ｎ一 仇），网络的卷积层应用了卷积的离散表示．设所考查层的第五个特征平面记作ｈ‘，与前一层的连接权重矩阵 为Ｗ‘，偏差为ｂ‘，对于非线性的正切函数，可以得到特征映射如下： ＾：＝ｔａｎｈ（（Ｗ。＊ｚ）Ⅱ＋６Ｉ）， （１） 其中，ｉ和．『标注了该神经元在特征平面上的位詈． ＩＮＰＵＴ ｆｅａｔｕｒｅ ｍａｐｓ ｆｅａｔｕｒｅ ｍａｐｓ ｆｅａｔｕｒｅ ｍａｐｓ ｆｅａｔｕｒｅ ｍａｐｓ ＯＵＴＰＵＴ ２８Ｘ２８ ４＠２４×２４ ４＠１２Ｘ １２ １２＠８×８ １２＠４×４ ２６＠１ｘ １ 图４用于图像识别的卷积神经网络结构 Ｆｉｇ．４ Ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｔｗｏｒｋ ｆｏｒ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ ・・，≮：：：：：０‘≯．．．．．・ ７．、。 ０一㈠” ．，。“ｌ、、、 ．’ｆ㈡’ ．．．ｊ：ｊ ７：一』００：Ｉｊ、．．． ’．。・．・．．・．●・ ‘ ‘ ● ● 每个卷积层都会紧跟１个次抽样层．输入数据经过卷积后，进入高维空间，换句话说，卷积层进行了升维 映射．如果不断地进行升维，则不可避免地陷入维数灾难．同卷积层类似，次抽样层的每个特征平面上的神经 元也共享连接权重，且每个神经元都从其接受域中接受数据．卷积层的每个特征平面都对应了次抽样层的１ 个特征平面，次抽样层中的神经元对其接受域中的数据进行抽样（例如，取大，取小，取平均值，等等），因此次 抽样层的特征平面上的神经元的个数往往会减半． 卷积层的每一个平面都抽取了前一层某一个方面的特征．每个卷积层上的每个结点，作为特征探测器， 共同抽取输入图像的某个特征，例如４５。角、反色、拉伸、翻转、平移等．图像经过一层卷积，就由原始空间被 影射到特征空间，在特征空间中进行图像的重构．卷积层的输出，为图像在特征空间中重构的坐标，作为下一 层也就是次抽样层的输入． ＬｅＣｕｎ从１９９８年开始，专注于卷积神经网络的研究，提出了ＬｅＮｅｔ模型［８１（如图６），用于识别手写和机 打字体，逐渐已经适用识别很多类图形问题．由图６所示，输入层后有２组隐含层抽取输入图像的特征，最后 有一个全连接的隐含层完成对输入图像的识别．ＬｅＮｅｔ模型在识别手写数字上达到很高的识别率，而且具有 拉伸、挤压、反转的不变性，而且抗噪能力很强．模型用传统的ＢＰ进行训练． 万方数据 

5 . ＇｝ｉｉｒｌＰ士学学拇ｒ自帙烈学颤、 第３２卷 ‰＝．ｏ 屯 兰 帆～ 协一 圈ｉ耋｝ ６ ６ ＝一 唑怒 ！ 生竺 型 一 耋｜ 当 ２．２深度置信网 深度置信网（Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｗｏｒｋｓ，简称ＤＢＮｓ）是另一种深度学习结构Ｈ］，是多个ＲＢＭ的累加．一个 Ｂｏｌｔｚｍａｎｎ机是基于能量理论的概率模型，通过热力学的能量函数定义了一个概率分布：Ｂｏｌｔｚｍａｎｎ分布． 设状态随机变量ｚ，能量函数为Ｅ（ｚ），则该状态出现的概率分布密度函数为夕（ｚ）＝ｅ－￡ｈ’／ｚ，其中Ｚ＝ ２５；ｅ一胁’．一个典型的Ｂｏｌｔｚｍａｎｎ机是一个无向循环图，其能量函数定义为 Ｅ（ｘ，＾）＝－－ｂ７ｚ－－ｆ７ｈ—ｚ７Ｗｈ－－Ｘ７Ｕｘ－－ｈ’Ｖｈ， （２） 其中ｚ是可见变量，描述可以观察的数据；＾是隐含变量，无法观察到其实际取值；ｂ和ｈ分别是可见变量和 隐含变量的阈值；Ｗ，Ｕ，Ｖ是结点之间的连接权重．如果对Ｂｏｌｔｚｍａｎｎ机加以约束条件，令其自身不与自身 连接，则得到一个有向无环图ＲＢＭ（如图７ａ），其能量函数定义为Ｅ（ｚ，Ｉ『１）一－－ｂ７ｚ—ｆ７｜Ｉｌ—ｚ７ＩＴＣｈ． 一个典型的置信网可以看成是由多个随机变量组成的有向无环图，也可以看成是多个ＲＢＭ的累加，而 深层置信网就是一个复杂度很高的有向无环图．Ｈｉｎｔｏｎ等人（３］认为，一个有Ｚ个隐含层的典型的ＤＢＮ，可以 用联合概率分布刻画输入向量Ｘ和隐含向量ｈ的关系 Ｐ（ｚ，ｈ２，…，ｈ。）＝（Ⅱ：Ｉ；Ｐ（胪Ｉ ｈＨ２））Ｐ（ＪＩｌ卜２，ｈ‘）， （３） 其中ｚ＝ｈｏ，Ｐ（ｈ‘ｌｈＨ２）是条件概率分布．ＤＢＮ学习的过程，就是学习联合概率分布的过程．而联合概率分 布的学习是机器学习中的产生式学习方式． 蓦 ］矗 ∞ｏｏＯｏ Ｃ｜ 删Ｉ ｒＯｏｏｏｏＯＣ｜ ＋ ｌ；１｜ｆ．－ｉ酶 ● ● ｌ １ ｒ ｒＯＯＯＯｏｏＱ 墨耄ｉ ］ ｝ ＤＣＸ：ＤＯＯＣ）Ｃｊ 聊 ＰｒｅｔｒａｉｎｉｎＳ ｂ Ｃ ａ．ＲＢＭ模型．ｂ．ＤＢＮ典型结构；Ｃ．用ＤＢＮ进行图像识别示例． 圈７深度学习模型 Ｆｉｇ．７ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ｍ优ｌｅｌ 万方数据 

6 .第５期 李海峰等：深度学习结构和算法比较分析 对于深度的机器学习，由于参数变量很多，所以合适的训练算法直接决定了学习器的性能．以往的基于 最速梯度下降的ＢＰ算法，在经典的神经网络中被广泛应用，可以得到泛化性能很好的网络结构，但是ＢＰ算 法对于深度学习器的训练却存在一定的困难．这主要是ＢＰ算法本身的约束所在．首先，ＢＰ算法是监督学 习，训练数据必须是有类标数据．但是，实际能得到的数据大都是无类标数据．其次，ＢＰ算法不适合有很多隐 含层的学习结构，一是计算偏导数很困难，二是误差需要层层逆传，收敛速度很慢．最后，ＢＰ算法经常会陷入 到局部最优解，不能到达全局最优解．因此，Ｈｉｎｔｏｎ等人提出了贪婪的逐层无监督训练算法Ｈｏ． 贪婪无监督学习算法的基本思想是，把一个ＤＢＮ网络分层，对每一层进行无监督学习，最后对整个网 络用监督学习进行微调．把一个ＤＢＮ网络分层，每层都由若干计算单元（常常是几百个或几千个）组成（如 图７ｂ），各自独立计算该层接受到的数据，每个层的节点之间没有连接．与外界环境连接的节点层为输入层， 输入层接受来自于外界的输入，例如图像数据．第１层（即输入层）与第２层构成一个典型的ＲＢＭ，根据无监 督学习调节网络参数，使得ＲＢＭ达到能量平衡．然后，第１层的输出作为第２层与第３层构成一个新的 ＲＢＭ，第１层的输出作为外界输入，继续调节参数，使当前ＲＢＭ结构达到能量平衡．如此进行下去，直到最 后一层（如图７ｃ）．当完成无监督逐层训练学习后，再以原始外界输入和目标输出对整个网络进行有监督学 习，以最大似然函数为目标，精调网络各层的参数。 Ｇｉｂｂｓ抽样技术是在训练每个ＲＢＭ时采用的有效随机抽样技术［１１］．设需要从未知的联合概率分布厂 （ｚｌ，…，ｚ＾）中抽取咒个样本Ｘｎ’，Ｘｏ’，…，Ｘｈ’．由于 ｐ（ｘｍｌ’．．．．午・，研・９＋ｉ ｏ，础５瓦再筹著焉‰∞ｐｂｌ＇．”一Ａ 从而对某一个变量抽取样本时，假设其他变量已知，在以其他变量为条件的概率分布下进行抽取，直到抽取 ・，，…．，、 出所有样本．换句话说，对于样本ｘ“，的第ｊ个变量，是从分布ｐ（ｚ≯Ｉ工Ｐ，…，ｚ；翌。，ｚ；舞＂，…，ｚ：卜”）中抽取， 直到抽取出挖个样本． 在贪婪学习算法中，也采用了Ｗａｋｅ－Ｓｌｅｅｐ算法的基本思想ｍ３．算法在觉醒阶段，采用学习到的权重，按照 自底朝上的顺序，为下一层产生训练需要用的数据。而在睡眠阶段，按照自顶朝下，用权重对数据进行重建，如 表１． 表１贪婪学习算法实现步骤 Ｔａｂ．１ Ｉｍｐｌｅｍｅｎｔｉｎｇ ｐｒｏｅｅｄ岍ｏｆ ｇｒｅｅｄｙ ｌａｙｅｒ－ｗｉｓｅ ｌｅａｒｎｉｎｇ 步骤 内容 第１步 以ｚ＝ｈ。为外界输人，训练第１个ＲＢＭ，达到能量平衡； 第ｚ步翼翥二亍学习到的输入的联合分布’作为第２层的ＲＢＭ的输入’继 第３步重复第２步。直到最后一层； 第４步 以最大似然函数为目标函数，精调网络参数，使网络达到最优． ３ 总结 神经网络是人工智能领域的一个重要分支，利用神经网络可以任意精度逼近任意光滑的曲线，这使得神 经网络成为人工智能、数据挖掘等领域的一个重要工具．本文主要是简要介绍了深度机器学习的主要思想， 以及有效的学习算法．深度机器学习是神经网络又一次兴起的标志．但是，深度机器学习的训练时间过长，常 常需要几个星期的训练时间，如果能合并训练，提高训练速度，则会大大提高深度机器学习的实用性．另外， 深度机器学习学习到的知识表示的物理意义很不明确，如果能把各层学习到的知识表示成有物理意义的知 识，则会增加学习到知识的可理解性．这些问题都有待解决． 万方数据 

7 . ．５４４． 河北大学学报（自然科学版） 第３２卷 参考文献： ［１３ ＨＡＹＫＩＮ Ｓ．Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ：Ａ ｃｏｍｐｒｅｈｅｎｓｉｖｅ ｆｏｕｎｄａｔｉｏｎ［Ｍ］．２ｎｄ ｅｄ．Ｎｅｗ Ｙｏｒｋ：Ｐｒｅｎｔｉｃｅ－Ｈａｌｌ，１９９９． ［２］ ＢＥＮＧＩＯ Ｙ．Ｌｅａｒｎｉｎｇ ｄｅｅｐ ａｒｃｈｉｔｅｃｔｕｒｅｓ ｆｏｒ ＡＩＤ］．Ｆｏｕｎｄａｔｉｏｎｓ ａｎｄ Ｔｒｅｎｄｓ ｉｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ，２００９，２（１）：１—１２７． ［３］ ＨＩＮＴＯＮ Ｇ Ｅ，ＭＣＣＬＥＬＬＡＮＤ Ｊ Ｌ，ＲＵＭＥＬＨＡＲＴ Ｄ Ｅ，Ｄｉｓｔｒｉｂｕｔｅｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ［Ｍ］．Ｃａｍｂｒｉｄｇｅ：ＭＩＴ Ｐｒｅｓｓ， １９８６． ［４］ ＨＩＮＴＯＮ Ｇ Ｅ．ＯＳＩＮＤＥＲＯ Ｓ．Ａ ｆａｓｔ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｓ［Ｊ］．Ｎｅｕｒａｌ Ｃｏｍｐｕｔａｔｉｏｎ，２００６，１８：１５２７一 １５５４． ［５］ ＨＵＢＥＬ Ｄ，ＷＩＥＳＥＬ Ｔ．Ｒｅｅｅｐｔｉｖｅ ｆｉｅｌｄｓ，ｈｉｎｏｅｕｌａｒ ｉｎｔｅｒａｃｔｉｏｎ。ａｎｄ ｆｕｎｃｔｉｏｎａｌ ａｒｃｈｉｔｅｃｔｕｒｅ ｉｎ ｔｈｅ ｅａｔ’ｓ ｖｉｓｕａｌ ｅｏｒｔｅｘ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ｐｈｙｓｉｏｌｏｇｙ，１９６２，１６０：１０６—１５４． ［６］ ＬＥＣＵＮＹ，ＫＡＶＵＫＣＵＯＧＬＵＫ，ＦＡＲＡＢＥＴ Ｃ．Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ ｉｎ ｖｉｓｉｏｎ［Ｚ］．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ，Ｐａｒｉｓ，２０１０。 ［７］ ＬＡＳＥＲＳＯＮ Ｊ．Ｆｒｏｍ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｔＯ ｄｅｅｐ ｌｅａｒｎｉｎｇ：ｚｅｒｏｉｎｇ ｉｎ ｏｎ ｔｈｅ ｈｕｍａｎ ｂｒａｉｎ［Ｊ］．ＸＲＤＳ，２０１１，１８（１）：２９—３４． ［８］ ＬＥＣＵＮＹ。ＢＯＴＴＯＵ Ｌ，ＢＥＮＧＩＯ Ｙ，ｅｔ ａ１．Ｇｒａｄｉｅｎｔ—ｂａｓｅｄ ｌｅａｒｎｉｎｇ ａｐｐｌｉｅｄ ｔＯ ｄｏｃｕｍｅｎｔ ｒｅｃｏｇｎｉｔｉｏｎ［Ｊ］．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｌＥＥＥ，１９９８，８６（１１）：２２７８—２３２４． ［９］ ＥＲＨＡＮＤ。ＢＥＮＧＩＯ Ｙ，ＣＯＵＲＶＩＬＥ Ａ，ｅｔ ａ１．Ｗｈｙ ｄｏｅｓ ｕｎｓｕｐｅｒｖｉｓｅｄ ｐｒｅ－ｔｒａｉｎｉｎｇ ｈｅｌｐ ｄｅｅｐ ｌｅａｒｎｉｎｇ［Ｊ］．Ｊｏｕｒｎａｌ ｏｆ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｒｅｓｅａｔｃｈ，２０１０，１１：６２５—６６０． ［１０３ ＢＥＮＧＩＯ Ｙ，ＬＡＭＢＬＩＮ Ｐ，ＰＯＰＯＶＩＣＩ Ｄ，ｅｔ ａ１．Ｇｒｅｅｄｙ ｌａｙｅｒ－ｗｉｓｅ ｔｒａｉｎｉｎｇ ｏｆ ｄｅｅｐ ｎｅｔｗｏｒｋｓ［Ｊ］．Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ ｌｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ，２００７，１９：１５３—１６０． ［１１］ ＢＩＳＨＯＰ Ｃ Ｍ．Ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ［Ｍ］．Ｎｅｗ Ｙｏｒｋ：Ｓｐｒｉｎｇｅｒ，２００６． ［１２］ ＨＩＮＴＯＮ Ｇ Ｅ，ＤＡＹＡＮ Ｐ，ＦＲＥＹ Ｂ，ｅｔ ａ１．Ｔｈｅ ｗａｋｅ－ｓｌｅｅｐ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｕｎｓｕｐｅｒｖｉｓｅｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ［Ｊ］．Ｓｃｉｅｎｃｅ， １９９５，２６８：１１５８—１１６１． （责任编辑：孟素兰） 万方数据 

8 .深度学习结构和算法比较分析 作者： 李海峰， 李纯果， LI Haifeng， LI Chunguo 作者单位： 李海峰,LI Haifeng(河北大学教务处,河北保定,071002)， 李纯果,LI Chunguo(河北大学数学与计算机学院,河北保定,071002) 刊名： 河北大学学报（自然科学版） 英文刊名： Journal of Hebei University(Natural Science Edition) 年，卷(期)： 2012,32(5) 参考文献(12条) 1.HAYKIN S Neural Networks:A comprehensive foundation 1999 2.BENGIO Y Learning deep architectures for AI 2009(01) 3.HINTON G E;MCCLELLAND J L;RUMELHART D E Distributed Representations 1986 4.HINTON G E;OSINDERO S A fast learning algorithm for deep belief nets 2006 5.HUBEL D;WIESEL T Receptive fields,binocular interaction,and functional architecture in the cat's visual cortex 1962 6.LECUNY;KAVUKCUOGLUK;FARABET C Convolutional networks and applications in vision 2010 7.LASERSON J From neural networks to deep learning:zeroing in on the human brain 2011(01) 8.LECUNY;BOTTOU L;BENGIO Y Gradient-based learning applied to document recognition[外文期刊] 1998(11) 9.ERHAND;BENGIO Y;COURVILE A Why does unsupervised pre-training help deep learning 2010 10.BENGIO Y;LAMBLIN P;POPOVICI D Greedy layer-wise training of deep networks 2007 11.BISHOP C M Pattern recognition and machine learning 2006 12.HINTON G E;DAYAN P;FREY B The wake-sleep algorithm for unsupervised neural network 1995 本文链接：http://d.g.wanfangdata.com.cn/Periodical_hebdxxb201205016.aspx