深度学习方法研究新进展

网络出版地址：ｈｔｔｐ：／／ｗｗｗ．ｃｎｋｉ．ｎｅｔ／ｋｃｍｓ／ｄｅｔａｉｌ／２３．１５３８．ＴＰ．２０１６０７１５．１３５３．００２．ｈｔｍｌ

　ＣＡＡＩＴｒａｎｓａｃｔｉｏｎｓｏｎＩｎｔｅｌｌｉｇｅｎｔＳｙｓｔｅｍｓ　　　　　　　　　　　

　Ｏｃｔ．２０１６

深度学习方法研究新进展

刘帅师，程曦，郭文燕，陈奇

（长春工业大学电气与电子工程学院，吉林长春１３００００）

摘　要：本文依据模型结构对深度学习进行了归纳和总结，描述了不同模型的结构和特点。首先介绍了深度学习的概念及意义，然后介绍了４种典型模型：卷积神经网络、深度信念网络、深度玻尔兹曼机和堆叠自动编码器，并对近３年深度学习在语音处理、计算机视觉、自然语言处理以及医疗应用等方面的应用现状进行介绍，最后对现有深度学习模型进行了总结，并且讨论了未来所面临的挑战。

关键词：深度学习；卷积神经网络；深度信念网络；深度玻尔兹曼机；堆叠自动编码器中图分类号：ＴＰ１８　文献标志码：Ａ　文章编号：１６７３⁃４７８５（２０１６）０５⁃０５６７⁃１０

中文引用格式：刘帅师，程曦，郭文燕，等．深度学习方法研究新进展［Ｊ］．智能系统学报，２０１６，１１（５）：５６７⁃５７７．

英文引用格式：ＬＩＵＳｈｕａｉｓｈｉ，ＣＨＥＮＧＸｉ，ＧＵＯＷｅｎｙａｎ，ｅｔａｌ．Ｐｒｏｇｒｅｓｓｒｅｐｏｒｔｏｎｎｅｗｒｅｓｅａｒｃｈｉｎｄｅｅｐｌｅａｒｎｉｎｇ［Ｊ］．ＣＡＡＩｔｒａｎｓ⁃ａｃｔｉｏｎｓｏｎｉｎｔｅｌｌｉｇｅｎｔｓｙｓｔｅｍｓ，２０１６，１１（５）：５６７⁃５７７．

Ｐｒｏｇｒｅｓｓｒｅｐｏｒｔｏｎｎｅｗｒｅｓｅａｒｃｈｉｎｄｅｅｐｌｅａｒｎｉｎｇ

（ＣｏｌｌｅｇｅｏｆＥｌｅｃｔｒｉｃａｌａｎｄＥｌｅｃｔｒｏｎｉｃＥｎｇｉｎｅｅｒｉｎｇ，ＣｈａｎｇｃｈｕｎＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｃｈａｎｇｃｈｕｎ１３００００，Ｃｈｉｎａ）

ＬＩＵＳｈｕａｉｓｈｉ，ＣＨＥＮＧＸｉ，ＧＵＯＷｅｎｙａｎ，ＣＨＥＮＱｉ

Ａｂｓｔｒａｃｔ：Ｄｅｅｐｌｅａｒｎｉｎｇｈａｓｒｅｃｅｎｔｌｙｒｅｃｅｉｖｅｄｗｉｄｅｓｐｒｅａｄａｔｔｅｎｔｉｏｎ．Ｕｓｉｎｇａｍｏｄｅｌｓｔｒｕｃｔｕｒｅ，ｔｈｉｓｐａｐｅｒｇｉｖｅｓａｓｕｍｍａｒｉｚａｔｉｏｎａｎｄａｎａｌｙｓｉｓｏｎｄｅｅｐｌｅａｒｎｉｎｇｂｙｄｅｓｃｒｉｂｉｎｇａｎｄｒｅｖｉｅｗｉｎｇｔｈｅｓｔｒｕｃｔｕｒｅａｎｄｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｄｉｆｆｅｒ⁃ｓｔａｃｋｉｎｇｅｎｃｏｄｅｒ．Ｔｈｅｐａｐｅｒｔｈｅｎｃｏｎｃｌｕｄｅｓｂｙｒｅｖｉｅｗｉｎｇｔｈｅａｐｐｌｉｃａｔｉｏｎｓｏｆｄｅｅｐｌｅａｒｎｉｎｇａｓｒｅｇａｒｄｓｓｐｅｅｃｈｐｒｏ⁃ｄｅｅｐｌｅａｒｎｉｎｇｍｏｄｅｌｉｓｓｕｍｍａｒｉｚｅｄａｎｄｆｕｔｕｒｅｃｈａｌｌｅｎｇｅｓｄｉｓｃｕｓｓｅｄ．ｉｃｓｔａｃｋｉｎｇｅｎｃｏｄｅｒ

Ｋｅｙｗｏｒｄｓ：ｄｅｅｐｌｅａｒｎｉｎｇ；ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ；ｄｅｅｐｂｅｌｉｅｆｎｅｔｗｏｒｋｓ；ｄｅｅｐＢｏｌｔｚｍａｎｎｍａｃｈｉｎｅ；ａｕｔｏｍａｔ⁃　　深度学习是机器学习的一个分支，属于人工智能的新领域。深度学习的本质是特征提取，即通过组合低层次的特征形成更加抽象的高层表示，以达到获得最佳特征的目的［１］。它主要通过神经网络来模拟人的大脑的学习过程，希望实现对现实对象或数据（图像、语音及文本等）的抽象表达，整合特征抽取和分类器到一个学习框架下［２］。目前，深度学习在许多领域取得了广泛的关注，成为当今的研

收稿日期：２０１５⁃１１⁃２７．　网络出版日期：２０１６⁃０７⁃１５．

基金项目：吉林省科技厅青年科研基金项目（２０１４０５２００６５ＪＨ，

２０１４０５２００７６ＪＨ）；长春工业大学科学研究发展基金自然科学计划项目（２０１０ＸＮ０７）．

通信作者：．Ｅ⁃ｍａｉｌ：刘帅师．Ｅ⁃ｍａｉｌ：ｌｉｕ⁃ｓｈｕａｉｓｈｉ＠１２６．ｃｏｍ．

ｅｎｔｍｏｄｅｌｓ．Ｔｈｅｐａｐｅｒｆｉｒｓｔｌｙｉｎｔｒｏｄｕｃｅｓｔｈｅｃｏｎｃｅｐｔａｎｄｓｉｇｎｉｆｉｃａｎｃｅｏｆｄｅｅｐｌｅａｒｎｉｎｇ，ａｎｄｔｈｅｎｒｅｖｉｅｗｓｆｏｕｒｔｙｐｉｃａｌｍｏｄｅｌｓ：ａｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ；ｄｅｅｐｂｅｌｉｅｆｎｅｔｗｏｒｋｓ；ｔｈｅｄｅｅｐＢｏｌｔｚｍａｎｎｍａｃｈｉｎｅ；ａｎｄａｎａｕｔｏｍａｔｉｃｃｅｓｓｉｎｇ，ｃｏｍｐｕｔｅｒｖｉｓｉｏｎ，ｎａｔｕｒａｌｌａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇ，ｍｅｄｉｃａｌｓｃｉｅｎｃｅ，ａｎｄｏｔｈｅｒａｓｐｅｃｔｓ．Ｆｉｎａｌｌｙ，ｔｈｅｅｘｉｓｔｉｎｇ

究热点。

上发表的一篇论文，开启了深度学习的浪潮。他提出了深度信念网的概念，成功地利用贪心策略逐层训练由玻尔兹曼机组成的深层架构，解决了以往深度网络训练困难的问题。此后，Ｈｉｎｔｏｎ、Ｌｅｃｕｎ、Ｂｅｎｇｉｏ等大量科研人员对深度学习的模型构建、训练方式等做出了杰出的贡献。文献［４］对近几年新兴的深度学习的初始化方法、模型结构、学习算法等进行了详细的分析。２０１４年余滨等［５］从训练方式的角度对深度学习进行了总结。文献［６］依据数据流向对深度学习进行不同分类，本文将重点放在模

２００６年，机器学习大师Ｈｉｎｔｏｎ等［３］在《科学》

·５６８·智　能　系　统　学　报　　　　　　　　　　　　　　　　　　第１１卷

型结构，以深度学习的核心模型结构而展开。文献［７］年新的研究成果从深度学习结构进行展开，因此能够更准确地反映该领域的

，本文大量增加了近３最新研究进展。

本文依据模型结构，着重介绍４种典型的深度学习模型，即卷积神经网络、深度信念网络、深度玻尔兹曼机、堆叠自动编码器。下面对这些模型进行描述。

１　１．１　深度学习典型模型

１．１．１　卷积神经网络卷积历史

神经网络（ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓ，

ＣＮＮ）研究猫脑皮层时受到的启发最早在２０世纪８０年代就已被提出。它的典型模型，是由于在ＬｅＮｅｔ⁃５［８］系统，在ＭＮＩＳＴ上得到了０．９％的错误率，并在

２０世纪９０年代就已用于银行的手写支票识别［７］但是，由于在大尺寸图像上没有好的效果，一度被人

。忽视。随着高效的ＧＰＵ计算的兴起，直到２０１２年Ｈｉｎｔｏｎ行起来在［９］ＩｍａｇｅＮｅｔ问题的成功，才使它在近几年流领域的研究热点之一。如今卷积神经网络已经成为众多科学，特别是在图像识别领域。由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了广泛的应用。１．１．２　卷积神经网络是前馈神经网络的一种结构

。卷积神

经网络的模型如图１所示，它是一个多层的神经网络，每层由多个二维平面组成，而每个平面由多个神经元组成。传统的神经网络层与层之间神经元采取全连接方式，而卷积神经网络采用稀疏连接方式，即每个特征图上的神经元只连接上一层的一个小区域的神经元连接。

图１　卷积神经网络模型

Ｆｉｇ．１　Ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｍｏｄｅｌ

卷积神经网络的低隐含层是由卷积层和最大池采样层交替组成，高层通常是全连接层作为分类器

使用。

首先，为了降低网络的复杂性，卷积神经网络采用权重共享方式，即同一个特征图，卷积核是一样的［１０］比如ＲｅＬＵ；其次，等对得到的特征输入给一个非线性函数；最后，再采取下采样方法，比如最大，池化等。下采样的作用是把语义上相似的特征合并

起来，这是因为形成一个主题的特征的相对位置不太一样［１］１．１．３　训练方式。

卷积神经网络的训练采用有监督训练方式。首

先是向前传播，即输入Ｘ经过卷积神经网路后变为输出Ｏ，再将Ｏ与标签进行比较，然后以向后传播的方式，到将所得误差传播到每个节点，根据权值更新公式，更新相应的卷积核权值［４，６］此外，以卷积神经网络为核心的深度学习网络

。

还有３⁃Ｄ卷积神经网络（３⁃Ｄｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓ，ｗｏｒｋｓ，ＳＮ）３Ｄ⁃ＣＮＮ［１２］））［１１］，光谱网络（ｓｐｅｃｔｒａｌｏｌｕｔｉｏｎａｌｎｅｕｒａｌ，金字塔卷积神经网络ｎｅｔ⁃ｎｅｔｗｏｒｋｓ，ＰＣＮＮ）［１３］（ｐｙｒａｍｉｄｃｏｎｖ⁃积神经网络（ｍｕｌｔｉｌｅｖｅｌｐｙａｍｉｄｃｏｎｖｏｌｕｔｉｏｎａｌ，多级金字塔卷ｎｅｕｒａｌ１．２　ｎｅｔｗｏｒｋｓ，ＭＬＰＣＮＮ）［１４］等。

受玻尔兹曼机为核心的深度网络有受玻尔兹曼机为核心的深度网络２种：

深度信念网和深度玻尔兹曼机。现简要分析二者的区别。

１．２．１　受限受玻尔兹曼机

制玻尔兹曼机（ｒｅｓｔｒｉｃｔｅｄＢｏｌｔｚｍａｎｎｍａ⁃

ｃｈｉｎｅ，ＲＢＭ）是一类无向图模型［４］层组成，与玻尔兹曼机（Ｂｏｌｔｚｍａｎｎ，由可视层和隐含ｍａｃｈｉｎｅ，ＢＭ）不同，层内无连接，层间有连接。这种结构更易于计算隐含层单元与可视层单元的条件分布［５］玻尔兹曼机的训练方式通常采用对比散度方。受（ｃｏｎｔ⁃模型如图ｒａｓｔｉｖｅｄｉｖｅｒｇｅｎｃｅ，ＣＤ）。２所示。

常见的玻尔兹曼机的演变

图２　玻尔兹曼机演变模型

Ｆｉｇ．２　Ｔｈｅｅｖｏｌｕｔｉｏｎｍｏｄｅｌｏｆｂｏｌｔｚｍａｎｎｍａｃｈｉｎｅ

第５期　　　　　　　　　　　　　　　　　刘帅师，等：深度学习方法研究新进展·５６９·

受玻尔兹曼机的演变模型有卷积受玻尔兹曼机（ｃｏｎｖｏｌｕｔｉｏｎａｌｒｅｓｔｒｉｃｔｅｄＢｏｌｔｚｍａｎｎｍａ⁃ｃｈｉｎｅ，ＣＲＢＭ）［１５］ｒｅｓｔｒｉｃｔｅｄ、稀疏受玻尔兹曼机玻尔Ｂｏｌｔｚｍａｎｎ兹曼机（ｓｐａｒｓｅｍａｃｈｉｎｅ，ｇｒｏｕｐＳＲＢＭ）［１６］ｒｅｓｔｒｉｃｔｅｄ、稀Ｂｏｌｔｚｍａｎｎ疏（ｓｐａｒｓｅ组受ｍａｃｈｉｎｅ，ＳＧＲＢＭ）［１７］ｒｅｓｔｒｉｃｔｅｄＢｏｌｔｚｍａｎｎｍａｃｈｉｎｅ，ＣＲＢＭ）、分类受玻尔兹曼机［１８］等。更详细（ｃｌａｓｓ的描述内容参见文献［１９］。１．２．２　深度信念网络深度信念网络

（ｄｅｅｐｂｅｌｉｅｆｎｅｔｗｏｒｋｓ，ＤＢＮ）是由

多个受玻尔兹曼机（ＲＢＭ）叠加而成的深度网络。深度信念网络的典型结构如图３所示，它通过无监督预训练和有监督微调来训练整个深度信念网络［７］玻尔兹曼机。预训练时用无标签数据单独训练每一层受，通过自下而上的方式，将下层受限

制玻尔兹曼机输出作为上层受玻尔兹曼机输入。当预训练完成后，网络会获得一个较好的网络初始值，但这还不是最优的［２０］去训练网络，误差自顶向下传播。，再采用有标签数据一般采用梯度下降法对网络进行微调。深度信念网络的出现是深度学习的转折点，目前深度信念网络已应用于语音、图像处理等方面，尤其是在大数据方面［１０］。

图３　深度信念网络典型结构

Ｆｉｇ．３　Ｔｈｅｉｌｌｕｓｔｒａｔｉｏｎｏｆｄｅｅｐｂｅｌｉｅｆｎｅｔｗｏｒｋｆｒａｍｅｗｏｒｋ

深度信念网络的变种模型有卷积深度信念网

（ｃｏｎｖｏｌｕｔｉｏｎａｌ深度信念网（ｓｐａｒｓｅｄｅｅｐｂｅｌｉｅｆｄｅｅｐｂｅｌｉｅｆｎｅｔｗｏｒｋｓ，ＣＤＢＮ）［２１］ｎｅｔｗｏｒｋｓ，ＳＤＢＮ）、稀疏

［２２］判别深度信念网（ｄｉｓｃｒｉｍｉｎａｔｉｖｅｄｅｅｐｂｅｌｉｅｆｎｅｔｗｏｒｋｓ，

、。

１．２．３　ＤＤＢＮ）［２３］等深深度玻尔兹曼机

度玻尔兹曼机（ｄｅｅｐＢｏｌｔｚｍａｎｎｍａｃｈｉｎｅ，

ＤＢＭ）曼机叠加而成与深度信念网络相似。但是，与深度信念网络不同，都是以受玻尔兹，层间均

为无向连接，省略了由上至下的反馈参数调节。训练方式也与深度信念网络相似，先采用无监督预训练方法，得到初始权值，再运用场均值算法，最后采用有监督微方式进行微调。１．３　１．３．１　堆叠自动编码器自动编码器自动编码器

（ａｕｔｏｅｎｃｏｄｅｒ，ＡＥ）由编码器与解码

器组成，其原理如图４所示。核心思想是将输入信号进行编码，使用编码之后的信号重建原始信号，目的是让重建信号与原始信号相比重建误差最小［２４］编码器将输入数据映射到特征空间，解码器将特征。映射回数据空间，完成对输入数据的重建。

图４　自动编码器原理图Ｆｉｇ．４　Ｔｈｅｉｌｌｕｓｔｒａｔｉｏｎｏｆａｕｔｏｅｎｃｏｄｅｒ

自动编码器演化的模型如图５所示，自动编码器演化的模型有去噪自动编码器（ｄｅｎｏｉｓｉｎｇａｕｔｏｅｎ⁃ｃｏｄｅｒ，ＤＡＥ）［２５］ｃｏｄｅｒ，ＳＡＥ）［２６］、稀疏自动编码器（ｓｐａｒｓｅａｕｔｏｅｎ⁃ｅｎｃｏｄｅｒ，ＣＡＥ）［２７］、收［２８］、等卷积自动编码缩自动编码器。更详细的描述内容参见文献

（ｃｏｎｖｏｌｕｔｉｏｎａｌ（ｃｏｎｔｒａｃｔｉｖｅａｕｔｏａｕｔｏ［２９⁃３１］。

ｅｎｃｏｄｅｒ，ＣＡＥ）图５　自动编码器的演变模型Ｆｉｇ．５　Ｔｈｅｅｖｏｌｕｔｉｏｎｍｏｄｅｌｏｆａｕｔｏｅｎｃｏｄｅｒ

１．３．２　堆叠自动编码器堆叠自动编码器原理

（ｓｔａｃｋｅｄａｕｔｏｅｎｃｏｄｅｒｓ，ＳＡＥ）

与深度信念网络类似，其结构如图６所示，都是由简单结构叠加起来的深层网络。简单来说，就是将ＤＢＮ码器的训练过程也是使用贪心逐层预训练算法中的ＲＢＭ替换成ＡＥ就得到了ＳＡＥ。自动编，但

·５７０·智　能　系　统　学　报　　　　　　　　　　　　　　　　　　第１１卷

因为是通过重构误差来进行训练，相比较而言比受玻尔兹曼机训练容易［７］以自动编码器及其变种模型的为核心的深度网

。

络称之为深度自动编码（ｄｅｅｐａｕｔｏｅｎｃｏｄｅｒｓ，ＤＡＥ）。文献［３２］对深度自动编码器进行了详细的描述。堆叠自动编码器就是一种典型的深度自动编码。类似的还有堆叠去噪自动编码器（ｓｔａｃｋｅｄｄｅｎｏｉｓｉｎｇａｕｔｏ⁃ｅｎｃｏｄｅｒｓ，（ｓｔａｃｋｅｄｓｐａｒｓｅＳＤＡＥａｕｔｏ）［２５］ｅｎｃｏｄｅｒｓ，ＳＳＡＥ）、堆叠稀疏［３３］自等动。

编码器图６　堆叠自动编码器结构

Ｆｉｇ．６　ＴｈｅｉｌｌｕｓｔｒａｔｉｏｎｏｆｓｔａｃｋｅｄＡｕｔｏｅｎｃｏｄｅｒｆｒａｍｅｗｏｒｋ

２　２．１　深度学习应用

　型混合高斯模型　长期以来语音处理

，语音识别技术普遍采用的是声学模。但这种混合高斯模型本质上是一

种浅层网络建模，不能充分描述特征的状态空间分布

［３４］

域，提出深度神经网络。２０１１年微软

［３５］

将深度学习引入语音识别领

ＤＮＮ，本质上是把混合高斯模型替换成了深度神经网络模型大大提高识别率。该模型在Ｓｗｉｔｃｈｂｏａｒｄ标准数据集上的识别错误率比最低错误率降低了３３％。２０１４年Ｖａｎ等

［３６］

在网

络音乐平台Ｓｐｏｔｉｆｙ使用深度卷积神经网络做基于内容的音乐推荐，以及实现依靠音频信号预测听众的收听喜好，然后采用ＷＭＦ（ｗｅｉｇｈｔｅｄｍａｔｒｉｘｆａｃｔｏｒｉ⁃ｚａｔｉｏｎ）别系统模型进行评分预测ＤｅｅｐＳｐｅｅｃｈ

［３７］

可以在饭店等嘈杂环境下实

。百度的深度学习语音识现将近８１％的辨识准确率。２０１５年Ｃｈａｎ等［３８］提出了ＬＡＳ（ｌｉｓｔｅｎ，ａｔｔｅｎｄａｎｄｓｐｅｌｌ）系统。该系统利用金字塔式双向的ＲＮＮ网络。不同于传统的模型，不需要完整的端对端的ＣＴＣ（ｃｏｎｎｅｃｔｉｏｎｉｓｔｔｅｍｐｏｒａｌｃｌａｓｓｉｆｉｃａｔｉｏｎ），符，合成了约４实现跳过音素直接把语音识别为字万小时音频。当不依赖语音词典和

语言模型时在谷歌语音搜索任务词错率达到１４．２％，２．２　当结合语言模型时词错率达到１１．２％。２０１２计算机视觉

年Ｈｉｎｔｏｎ［３９］和他的２个学生在著名的Ｉｍ⁃

ａｇｅＮｅｔ结果，赢得了冠军问题上用更深的卷积神经网络取得世界最好，使得图像识别大踏步前进。随后，深度学习在图像处理方面取得突破性进展，如物体定位［４０］２０１５年深海团队、脸部［４３］识利用卷积神经网络对别［４１］和人体姿势估计［４２］等。

３万个例子进行１２１种浮游生物分类。Ｄｅｎｔｏｎ等［４４］利用卷积神经网络通过用户的性别、年龄、城市和图片等特征进行整合。在Ｆａｃｅｂｏｏｋ上对用户上传的图片进行标签、分类。２．２．１　图像包括很多层信息图像语义分割

，例如这幅图像是否有特定的物体（如汽车）。所谓的图像语义分割，就是描述图片中包含哪些物体、包括街头的场景分割、三维

扫描、对３⁃Ｄ人体解剖分割定位等。因为是基于像素分类方法，所以这个问题会带来巨大的计算量。２０１５年Ｌｏｎｇ等［４５］提出了利用全卷积网络（ｆｕｌｌｙｃｏｎｖｏｌｕｔｉｏｎａｌ义分割。同年ｎｅｔｗｏｒｋｓ，ＦＣＮ，）Ｂｅｈｎｋｅ等［４６］提出了语义的概念去进行图像语ＲＧＢ⁃Ｄ感知器的概念，使得基于深度学习的图像语义分割得到进一步发展。２．２．２　算法Ｌｉｎｋｆａｃｅ人脸识别

。无论场景中是单人还是多人开发了基于深度学习的人脸检测创新

，是侧脸、半遮挡还是模糊等情景中，均能进行精准检测。据全球最具权威的人脸检测评测平台ＦＤＤＢ最新数据，２０１４Ｌｉｎｋｆａｃｅ年Ｆａｃｅｂｏｏｋ的人脸检测算法达到了世界领先的水平开发一种叫ＤｅｅｐＦａｃｅ［４１］技术。其。贡献在于对人脸对齐和人脸表示环节的改进。通过

革新的３⁃Ｄ人脸建模勾勒出脸部特征，然后通过颜色过滤做出一个刻画特定脸部元素的平面模型。Ｆａｃｅｂｏｏｋ标签化的人脸池建立了一个来自于，Ｆａｃｅｂｏｏｋ称这是迄今为止最大规４０３０个人的４４０万张模的人脸池。它是一个拥有９层的深度卷积神经网络，网络有超过１．２亿个参数。该技术在ＬＦＷ数据集上取得了９７．２５％的平均精度，已经接近人类的识别水平。２０１５年Ｇｏｏｇｌｅ提出ＦａｃｅＮｅｔ［４７］进行人脸验证。它直接学习图像到欧式空间上点的映射，然后基于这个编码再做人脸识别、人脸验证和人脸聚第５期　　　　　　　　　　　　　　　　　刘帅师，等：深度学习方法研究新进展·５７１·

类等。其中两张图像所对应的特征欧式空间上的点之间的距离直接对应着两个图像是否相似。ＦａｃｅＮｅｔ齐。ＦａｃｅＮｅｔ并没有像得到最终表示后不用像ＤｅｅｐＦａｃｅ和ＤｅｅｐＩＤＤｅｅｐＩＤ那样需要对那样需要再训练模型进行分类，直接计算距离就可以，简单而有效。在Ｙｏｕｔｕｂｅ数据集上测试准确率为９５．１２％。

目前，传统人脸识别技术主要集中在可见光谱的范畴，对于跨模态人脸识别问题尚无好的解决方法。２０１５年Ｓａｒｆｒａｚ等［４８］利用深度神经网络，成功将红外热图像与可见光图像进行匹配，实现了跨模态人脸匹配。该网络可以在短短３５ｍｓ的时间内，能够将红外热图像匹配到其可见光图像，可以实现实时运行。２．２．３　目前表情识别

，大部分研究者把卷积神经网络应用在表

情识别上。例如，２０１３年Ｌｉｕ等［４９］提出了构建一个新的深层结构（ＡＵ⁃ａｗａｒｅｄｅｅｐｎｅｔｗｏｒｋｓ，ＡＵＤＮ），基于卷积神经网络进行特征提取，连接ＳＶＭ做表情分类器。２０１４年Ｏｕｅｌｌｅｔ等［５０］使用卷积神经网络对电脑前的游戏玩家进行实时表情识别。Ｓｏｎｇ等［５１］利用了一种５层卷积神经网络，实现了每幅图像在服务器的预测时间为５０ｍｓ，每个图像的往返时间小于１００ｍｓ，在智能手机上实现实时表情识别。Ｉｊｊｉｎａ等［５２］用Ｋｉｎｅｃｔ深度传感器得到的图片作为表情识别的对象，并在卷积神经网络进行表情识别取得了较好的效果。Ｂｙｅｏｎ等［５３］使用３Ｄ卷积神经网络去识别视频人脸表情。文献［５４］证明在实时表情识别系统，卷积神经网络比深层神经网络具有更好的效果。

还有一部分研究者利用其他深度学习模型进行表情识别。例如，ＭｃＬａｕｇｈｌｉｎ等［５５］提出一种基于深度信念网络的实时表情识别系统，但只能检测４种表情。２０１３年Ｈｅ等［５６］利用深度玻尔兹曼机对红外热图像进行表情识别。

此外，一些研究者们将多种深度学习模型结合起来进行表情识别。例如，２０１４年ＬＹＵ等［５７］将深度信念网络与自编码器相结合来进行识别。２０１５年Ｊｕｎｇ等［５８］将卷积神经网络与深度神经网络合起来。Ｋａｈｏｕ等［５９］提出一种视频表情识别系统ＥｍｏＮｅｔｓ。深度信念网络捕捉音频信息卷积神经网络捕捉视频信息，自编码器捕捉人肢体，检测人脸。行为。该理论赢得了２０１３ＥｍｏｔｉＷ挑战赛，在２０１４

的数据集上准确率达到４７．６７％。２．３　Ｓａｓｈｉｈｉｔｈｌｕ自然语言处理

等［６０］采用递归自编码方法（ｒｅｃｕｒ⁃

ｓｉｖｅ析问题ａｕｔｏ。ｅｎｃｏｄｅｒｓ，ＲＡＥ）Ｊｏｈｎｓｏｎ等［６１］提出一种基于卷积神经网络来解决较为复杂的情感分直接在词袋模型（ＢｏＷ）上用做文本分类任务。２０１５镜头（ｗｏｒｄ年谷歌的ｌｅｎｓ）Ｇｏｏｄ实时视频翻译性能和通话实时翻译等利用深度神经网络开发了字功能。它可以实现拿着手机摄像头对着实物，实物中的文字就可被即时识别出，并被翻译成目标语言，目前该技术可支持２０多种语言的即时视觉翻译。更重要的是即使它在不联网的状态下也能进行工作，所有深度学习的庞大计算都是在手机上完成的。李婷等［６２］利用堆叠去噪自动编码器（ｓｔａｃｋｄｅｎｏｉｓｉｎｇ２．４　ａｕｔｏｅｎｃｏｄｅｒ，ＳＤＡＥ）医疗应用

识别盲文。

结合起来Ｄｅｅｐ，ＤｅｅｐＧｅｎｏｍｉｃｓＧｅｎｏｍｉｃｓ公司开始把基因组和深度学习

已经推出了他们的第一款产品ＳＰＩＤＥＸ。只需将测试结果和细胞类型导入，ＳＰＩＤＥＸ并计算出该变异与疾病之间的关系便可分析出某一变异对ＲＮＡ。剪切的影响Ｋｏｚｉｏｌ等［６３］，利用一种受限玻尔兹曼机用于肝细胞癌的分类。２０１５年Ｆａｕｗ等［６４］利用２０多层的卷积神经网络检测糖尿病视网膜病变的眼底图像。

３　３．１　模型总结及面临的挑战

本文对深度学习模型进行分类深度学习模型

、概括，在此以模

型的结构为序，对深度学习模型进行总结如表１～表３所示是以卷积神经网络１）。

模型结构。目前、深度信念网络，大部分的深度学习模型都

、深度玻尔兹曼机、堆叠自动编码器等几种基本模型为基础演变而来。除此之外，还有像递归神经网络（ｒｅｃｕｒｒｅｎｔｎｅｕ⁃ｒａｌｎｅｔ，ＤＣＮ）ｎｅｔｗｏｒｋｓ，ＲＮＮ）［７４］［７５］等其他类型的新型深度模型、深度凸形网络（ｄｅｅｐ。

ｃｏｎｖｅｘ有有监督学习和无监督学习２）训练方式。深度学习模型的训练方式主要

２种。训练方式因模型结构而异，一般以卷积神经网络为核心的模型一般采取有监督训练方式。而以受玻尔兹曼机与自动编码器为核心的模型，大部分采用无监督学习方式预训练，配合有监督微调模式进行参数训练。

·５７２·智　能　系　统　学　报　　　　　　　　　　　　　　　　　　第１１卷表１　典型深度学习模型Ｔａｂｌｅ１　Ｔｙｐｉｃａｌｄｅｅｐｌｅａｒｉｎｇｍｏｄｅｌ

序号模型名称卷积神经网络（ＣＮＮ）３Ｄ卷积神经网络

模型描述常用训练方式适用范围图像处理，自然语言处理，视频分析

作者，文献，年份ＬｅｃｕｎＹ，［６５］，１９９０

多个卷积层和下采样层交有监督，运用前向替组成，以及一个全连接

层

传播和后向传播（ＢＰ）相结合方式

适用于视频中，通过堆叠有监督，通过随机多个连续的帧组成一个立对角Ｌｅｖｅｎｂｅｒｇ⁃方体，然后在立方体中运用３Ｄ卷积核，捕捉在时间和空间维度都具有区分性

的特征

Ｍａｒｑｕａｒｄｔ法来优化训练

视频分析ＪｉＳ，［６６］，２０１３

１

（３Ｄ⁃ＣＮＮ）

金字塔卷积神经网络与ＣＮＮ不同，是Ｓｉａｍｅｓｅ（ＰＣＮＮ）

深度信念网络（ＤＢＮ）２

网络，由多个金字塔组成多个ＲＢＭ累加而成的深

度网络

有监督逐层训练无监督贪婪逐层预训练，有监督微调

（ＢＰ）

图像处理ＦａｎＨ，［１３］，２０１４

语音识别，图像处ＨｉｎｔｏｎＧＥ，［６７］，２００６理，自然语言处理

卷积深度信念网络

（ＣＤＢＮ）稀疏深度信念网

（ＳＤＢＮ）深度玻尔兹曼机

（ＤＢＭ）

将ＤＢＮ中ＲＢＭ替换成

ＣＲＢＭ

将ＤＢＮ中ＲＢＭ替换成

ＳＲＢＭ

无监督贪婪逐层预训练，有监督微调无监督贪婪逐层预训练，有监督微调

图像处理，语音信号处理图像处理

ＬｅｅＨ，［２１］，２０１１

ＨａｌｋｉａｓＸＣ，［２２］２０１４

多个ＲＢＭ累加而成，与无监督贪婪逐层预ＤＢＮ不同层间均为无向连训练，再进行场均接，省略了由上至下的反值算法，有监督微馈参数调节

调（ＢＰ）

图像处理ＳａｌａｋｈｕｔｄｉｎｏｖＲ，［６８］，２００９

３

卷积深度玻尔兹曼机将ＤＢＭ中ＲＢＭ替换成无监督贪婪逐层预

（ＣＤＢＭ）

ＣＲＢＭ

训练，再进行场均值算法，有监督

微调

堆叠自动编码器

（ＳＡＥ）

多个ＡＥ累加而成

无监督贪婪逐层预训练，再将网络展开，有监督微调

（ＢＰ）

堆叠去噪自动编码器将ＳＡＥ中ＡＥ替换成ＤＡＥ无监督贪婪逐层预

（ＳＤＡＥ）

训练，再将网络展开，有监督微调

（ＢＰ）

图像处理杜骞，［６９］２０１４

图像处理ＢｅｎｇｉｏＹ，［７０］，２００９

４

图像处理，自然语言处理

ＶｉｎｃｅｎｔＰ，［２５］，２００８

第５期　　　　　　　　　　　　　　　　　刘帅师，等：深度学习方法研究新进展

表２　玻尔兹曼机及其演化模型

Ｔａｂｌｅ２　Ｂｏｌｔｚｍａｎｎｍａｃｈｉｎｅａｎｄｉｔｓｅｖｏｌｕｔｉｏｎｍｏｄｅｌ

序号１２３４５６

模型名称

玻尔兹曼机（ＢＭ）受玻尔兹曼机（ＲＢＭ）卷积受玻尔兹曼机（ＣＲＢＭ）稀疏受玻尔兹曼机（ＳＲＢＭ）稀疏租受玻尔兹曼机（ＳＧＲＢＭ）分类受玻尔兹曼机（ＣＲＢＭ）

模型描述

随机神经元组成的二值随机机器，一种

随机递归神经网络

与ＢＭ结果相同，只是没有层间的连接

三层两部无向图模型，由可视层、检测层、池层组成

在ＲＢＭ的对数似然目标函数上，

增加了一个稀疏惩罚项将组稀疏方法应用到ＲＢＭ利用包含二值随机变量的隐单元来拟合输入特征与类标签的联合分布表３　自动编码器及其演化模型

Ｔａｂｌｅ３　Ａｕｔｏｍａｔｉｃｅｎｃｏｄｅｒａｎｄｉｔｓｅｖｏｌｕｔｉｏｎｍｏｄｅｌ

序号１２３４５

模型名称

自动编码器（ＡＥ）去噪自动编码器（ＤＡＥ）稀疏自动编码器（ＳＡＥ）收缩自动编码器（ＣＡＥ）卷积自动编码器（ＣＡＥ）

模型描述

多层神经网络，从输入层到隐藏层为编码

器，从隐藏层到输出层为解码器在ＡＥ的输入层引入随机噪声对ＡＥ的升维和降维过程加以

ＡＥ加入稀疏性

作者，文献，年份

·５７３·

作者，文献，年份ＨｉｎｔｏｎＧＥ，［７１］，１９８６ＳｍｏｌｅｎｓｋｙＰ，［７２］，１９８６ＬｅｅＨ，［１５］，２００９ＬｅｅＨ，［１６］，２００８罗恒，［１７］，２０１１ＬａｒｏｃｈｅｌｌｅＨ，［１８］，２００８

ＲｕｍｅｌｈａｒｔＤＥ，［７３］，１９８６ＶｉｎｃｅｎｔＰ，［２５］，２００８ＢｅｎｇｉｏＹ，［２６］，２００７ＭａｓｃｉＪ，［２８］，２０１１ＲｉｆａｉＳ，［２７］，２０１１

　　３）应用领域。深度学习在语音处理、计算机视

ＡＥ每个隐含层的节点都是用来做卷积

上的无监督学习。因此，如何做到完全意义上的无监督学习是未来研究的重点。

３）减少训练时间。当待解决的问题过于复杂，

觉的应用已十分广泛，许多技术已用于商用。但是，在自然语言处理的应用尚不成熟［１］。一些研究者尝试用递归神经网络去解决这一问题。文献［７４⁃７８］对递归神经网络在文本生成和机器翻译的应用做出了详细的描述。目前，递归神经网络的变种模型长短时记忆模型（ｌｏｎｇｓｈｏｒｔ⁃ｔｅｒｍｍｅｍｏｒｙ，ＬＳＴＭ）被证明比传统的递归神经网络更加有效［７９］。３．２　面临的挑战

１）模型结构创新。自Ｈｉｎｔｏｎ提出深度学习的思想以来，已经涌现出大量的深度学习模型，然而大部分的模型的构建依旧停留在以简单模型（如ＡＥ，ＲＢＭ等）叠加而成的深度网络，或是几种深度学习模型简单相叠加，来构建深度学习模型。这种形式的模型往往不能发挥深度学习的优势，是否存在其他有效的深度学习模型，是否可以让深度学习与其他方法进行融合，这是今后要研究的问题。

２）训练方式的改进。深度学习已经在各个领域取得了突破性的成果，大部分深度学习模型均采用无监督学习方式。但是，离完全的无监督学习还有一定的距离。目前的深度学习模型在无监督预训练后，仍然需要有监督的微调，并没有做到完全意义

使深度学习模型参数增加时，会导致模型的训练时间逐渐上升，是否可以在不改变硬件性能的条件下，对算法进行改进，在保证精度的同时，提高训练速度。所以，减少训练时间，仍是深度学习需要努力的研究方向。

４）实现在线学习。目前，深度学习的算法大多采用无监督预训练与有监督微调配合的方式进行。然而，一旦在线环境下引入全局微调，会使结果陷入局部最小值。因此，这种训练算法不利于在线学习。是否可以改进算法进而将深度学习应用于在线环境，这是未来要思考的问题。

５）克服对抗样本。通过稍微修改实际样本，而

构造出的合成样本，会使一个分类器以高置信度认为它们属于错误的分类，这就是深度学习对抗样本问题［８０⁃８２］。研究如何克服它们可以帮助我们避免潜在的安全问题。然而，目前为止并没有好的方法出现。一些研究人员尝试使用常见的正则化方法（包括均化多重模型、均化图像多采样观测等）去解决这一问题，但是并没有取得良好的进展。因此，深

·５７４·智　能　系　统　学　报　　　　　　　　　　　　　　　　　　第１１卷

１９１⁃２００．

Ｊｉａｎｇｓｕｕｎｉｖｅｒｓｉｔｙ：ｎａｔｕｒａｌｓｃｉｅｎｃｅｅｄｉｔｉｏｎｓ，２０１５，３６（２）：ｇｏｒｉｔｈｍｓｆｏｒｃｌａｓｓｉｆｉｃａｔｉｏｎ：ａｃｏｍｐａｒｉｓｏｎｏｎｈａｎｄｗｒｉｔｔｅｎｄｉｇｉｔｒｅｃｏｇｎｉｔｉｏｎ［Ｍ］／／ＯＨＪＨ，ＫＷＯＮＣ，ＣＨＯＳ．ＮｅｕｒａｌＮｅｔ⁃ＷｏｒｌｄＳｃｉｅｎｔｉｆｉｃ，１９９５：２６１⁃２７６．

ｗｏｒｋｓ：ＴｈｅＳｔａｔｉｓｔｉｃａｌＭｅｃｈａｎｉｃｓＰｅｒｓｐｅｃｔｉｖｅ．Ｓｉｎｇａｐｏｒｅ：［９］陈先昌．基于卷积神经网络的深度学习算法与应用研究

度学习的对抗样本问题仍然是待解决的难题之一。

４　结束语

［８］ＬＥＣＵＮＹ，ＪＡＣＫＥＬＬＤ，ＢＯＴＴＯＵＬ，ｅｔａｌ．Ｌｅａｒｎｉｎｇａｌ⁃

本文详细描述了几种典型的深度学习模型的构

造原理，以及训练方法。并且，对近３年深度学习在各个领域的应用进行了概括。最后，在现有深度学习模型的基础上讨论了深度学习面临的挑战。

深度学习自提出以来已经在许多领域取得了突破性的进展。但是，在深度学习实际应用的过程中，往往为了要构造合适的深度学习模型而大费周章。因为目前的深度学习模型大部分是为了解决某一特定问题，而量身定做的。如果用于解决其他问题，效［１０］果往往不尽如人意。今后研究者们能否通过改进结构与算法，研究出一种可以应对大部分问题深度学习算法，这是未来要思考的难题。

参考文献：

［１１］［１］ＬＥＣＵＮＮａｔｕｒｅ，２０１５，Ｙ，ＢＥＮＧＩＯ５２１（７５５３）：Ｙ，ＨＩＮＴＯＮ４３６⁃４４４．

Ｇ．Ｄｅｅｐｌｅａｒｎｉｎｇ［Ｊ］．［２］林妙真理工大学．基于深度学习的人脸识别研究，２０１３．

［Ｄ］．大连：大连

［１２］ＢＲＵＮＡＬＩＮｌｅａｒｎｉｎｇ［Ｄ］．Ｍｉａｏｚｈｅｎ．ｏｇｙ，２０１３．

Ｄａｌｉａｎ，ＲｅｓｅａｒｃｈＣｈｉｎａ：ｏｎｆａｃｅＤａｌｉａｎｒｅｃｏｇｎｉｔｉｏｎＵｎｉｖｅｒｓｉｔｙｂａｓｅｄｏｆＴｅｃｈｎｏｌ⁃ｏｎｄｅｅｐ［３］ＨＩＮＴＯＮＧＥ，ＳＡＬＡＫＨＵＴＤＩＮＯＶＲＲ．Ｒｅｄｕｃｉｎｇｔｈｅｄｉ⁃

［２００６，ｍｅｎｓｉｏｎａｌｉｔｙ刘建伟３１３（５７８６）：ｏｆｄａｔａ５０４⁃５０７．ｗｉｔｈｎｅｕｒａｌｎｅｔｗｏｒｋｓ［Ｊ］．Ｓｃｉｅｎｃｅ，

［４］应用研究，刘媛，２０１４，，罗雄麟３１（７）：．深度学习研究进展１９２１⁃１９３０，１９４２．

［Ｊ］．计算机

［１４］ＬＩＵＪｉａｎｗｅｉ，ＬＩＵＹｕａｎ，ｌｅａｒｎｉｎｇＬＵＯ［Ｊ］．Ｘｉｏｎｇｌｉｎ．ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｒｅｓｅａｒｃｈａｎｄｄｅ⁃ｃｏｍｐｕｔｅｒｓ，ｖｅｌｏｐｍｅｎｔｏｎ２０１４，ｄｅｅｐ３１（７）：１９２１⁃１９３０，１９４２．

ｏｆ［５］余滨的钥匙，李绍滋［Ｊ］．工程研究，徐素霞，⁃跨学科视野中的工程等．深度学习：开启大数据时代

，２０１４，６（３）：ＹＵＢｉｎ，２３３⁃２４３．

ＬＩＳｈａｏｚｉ，［１５］ｏｆｓｔｅｐｐｉｎｇｉｎｔｏｔｈｅｅｒａＸＵｏｆＳｕｘｉａ，ｂｉｇｄａｔａ［Ｊ］．ｅｔａｌ．ＤｅｅｐＪｏｕｒｎａｌｌｅａｒｎｉｎｇ：ａｋｅｙ［６］ｉｎｇ尹宝才ｓｔｕｄｉｅｓ，工业大学学报，王文通２０１４，，，２０１５，王立春６（３）：４１（１）：．２３３⁃２４３．

ｏｆｅｎｇｉｎｅｅｒ⁃深度学习研究综述４８⁃５９．

［Ｊ］．北京

ＹＩＮ［１６］ＬＥＥｄｅｅｐＢｉａｏｃａｉ，ｌｅａｒｎｉｎｇ［Ｊ］．ＷＡＮＧＷｅｎｔｏｎｇ，ＷＡＮＧＬｉｃｈｕｎ．Ｒｅｖｉｅｗｏｆ［７］ｇｙ，张建明２０１５，ＪｏｕｒｎａｌｏｆＢｅｉｊｉｎｇｕｎｉｖｅｒｓｉｔｙｏｆｔｅｃｈｎｏｌｏ⁃［Ｊ］．江苏大学学报，詹智财４１（１）：，成科扬４８⁃５９．

：自然科学版，等．深度学习的研究与发展

２００．

，２０１５，３６（２）：１９１⁃［１７］ＺＨＡＮＧＲｅｖｉｅｗｏｎＪｉａｎｍｉｎｇ，ｄｅｖｅｌｏｐｍｅｎｔＺＨＡＮｏｆＺｈｉｃａｉ，ｄｅｅｐｌｅａｒｎｉｎｇＣＨＥＮＧ［ＪＫｅｙａｎｇ，］．Ｊｏｕｒｎａｌｅｔａｌ．

ｏｆ

［Ｄ］．ＣＨＥＮ杭州ｄｅｅｐＨａｎｇｚｈｏｕ，ｌｅａｒｎｉｎｇＸｉａｎｃｈａｎｇ．：浙江工商大学ｂａｓｅｄＲｅｓｅａｒｃｈ，２０１４．

ｏｎｏｎａｌｇｏｒｉｔｈｍａｎｄａｐｐｌｉｃａｔｉｏｎｏｆ李卫．深度学习在图像识别中的研究及应用Ｃｈｉｎａ：ＺｈｅｊｉａｎｇｃｏｎｖｏｌｕｔｉｏｎａｌＧｏｎｇｓｈａｎｇｎｅｕｒａｌＵｎｉｖｅｒｓｉｔｙ，ｎｅｔｗｏｒｋ［２０１４．［Ｄ］．汉：武汉理工大学，２０１４．

Ｄ］．武

ＬＩｉｍａｇｅＷｅｉ．ｎｏｌｏｇｙ，ｒｅｃｏｇｎｉｔｉｏｎ［Ｄ］．Ｔｈｅｒｅｓｅａｒｃｈａｎｄ２０１４．

Ｗｕｈａｎ：ａｐｐｌｉｃａｔｉｏｎＷｕｈａｎｏｆＵｎｉｖｅｒｓｉｔｙｄｅｅｐｌｅａｒｎｉｎｇｏｆＴｅｃｈ⁃ｉｎＪＩｔｉｏｎａｌＳｈｕｉｗａｎｇ，ＩＥＥＥｎｅｕｒａｌｔｒａｎｓａｃｔｉｏｎｓｎｅｔｗｏｒｋｓＸＵＷｅｉ，ｐａｔｔｅｒｎｆｏｒＹＡＮＧｈｕｍａｎＭｉｎｇ，ａｎａｌｙｓｉｓａｃｔｉｏｎｅｔａｎｄｒｅｃｏｇｎｉｔｉｏｎａｌ．３Ｄｃｏｎｖｏｌｕ⁃

ｍａｃｈｉｎｅｉｎｔｅｌｌｉ⁃［Ｊ］．ｇｅｎｃｅ，２０１３，ｗｏｒｋｓＪ，ＺＡＲＥＭＢＡ３５（１）：ｏｎ２２１⁃２３１．

Ｗ，ＳＺＬＡＭＥｐｒｉｎｔａｎｄ］７３．７９ＦＡＮ／Ａｒｘｉｖ：ｌｏｃａｌｌｙａｒｘｉｖ．ｏｒｇＡｒｘｉｖ，２０１３．ｃｏｎｎｅｃｔｅｄＡ，ｅｔａｌ．Ｓｐｅｃｔｒａｌｎｅｔ⁃

Ｈａｏｑｉａｎｇ，／ｐｄｆＣＡＯ／１３１２．６２０３ｖ３．ｐｄｆ．［ｎｅｔｗｏｒｋｓ２０１４⁃１０⁃１０］ｏｎｇｒａｐｈｓ［ＥＢｈｔｔｐ：／／１２０．５２．／ＯＬ］．ＬｅａｒｎｉｎｇＺｈｉｍｉｎ，ＪＩＡＮＧＹｕｎｉｎｇ，ｅｔａｌ．

ｉｖ：王冠皓ａｒｘｉｖ．ｏｒｇＡｒｘｉｖ，ｄｅｅｐ／ｐｄｆ２０１４．ｆａｃｅ／１４０３．２８０２ｖ１．ｐｄｆ．［２０１４ｒｅｐｒｅｓｅｎｔａｔｉｏｎ［－１０－１０］ＥＢｈｔｔｐ：／ＯＬ］．／／１２０．５２．７３．８０ＥｐｒｉｎｔＡｒｘ⁃／征表示方法，徐军［Ｊ］．．基于多级金字塔卷积神经网络的快速特

计算机应用研究，２０１５，３２（８）：２４９２⁃２４９５．

ＷＡＮＧｍｅｔｈｏｄｎｅｔｗｏｒｋ［Ｊ］．ｂａｓｅｄＧｕａｎｈａｏ，ｏｎｍｕｌｔｉ⁃ｌｅｖｅｌＸＵＪｕｎ．Ｆａｓｔｐｙｒａｍｉｄｆｅａｔｕｒｅｃｏｎｖｏｌｕｔｉｏｎｒｅｐｒｅｓｅｎｔａｔｉｏｎ（８）：Ａｐｐｌｉｃａｔｉｏｎｒｅｓｅａｒｃｈｏｆｃｏｍｐｕｔｅｒｓ，２０１５，ｎｅｕｒａｌ３２ＬＥＥｔｉｏｎａｌＨ，２４９２⁃２４９５．

ｉｎｇｏｆｄｅｅｐＧＲＯＳＳＥｈｉｅｒａｒｃｈｉｃａｌｂｅｌｉｅｆｎｅｔｗｏｒｋｓＲ，ＲＡＮＧＡＮＡＴＨｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ［Ｃ］ｆｏｒｓｃａｌａｂｌｅＲ，／ｕｎｓｕｐｅｒｖｉｓｅｄｅｔａｌ．Ｃｏｎｖｏｌｕ⁃

ｌｅａｒｎ⁃ｉｎｇ．２６ｔｈＮｅｗＡｎｎｕａｌＹｏｒｋ，ＩｎｔｅｒｎａｔｉｏｎａｌＮＹ，ＵＳＡ，Ｃｏｎｆｅｒｅｎｃｅ２００９：６０９⁃６１６．

ｏｎ／ＰｒｏｃｅｅｄｉｎｇｓＭａｃｈｉｎｅＬｅａｒｎ⁃ｏｆｔｈｅ

ｎｅｔｍｏｄｅｌＨ，ＥＫＡＮＡＤＨＡＭｆｏｒｖｉｓｕａｌａｒｅａＶ２［Ｃ］Ｃ，ＮＧ／Ａ／ＡｄｖａｎｃｅｓＹ．ＳｐａｒｓｅｉｎｄｅｅｐＮｅｕｒａｌｂｅｌｉｅｆ

ｆｏｒｍａｔｉｏｎＩｎ⁃ＢｒｉｔｉｓｈｏｎＮｅｕｒａｌＰｒｏｃｅｓｓｉｎｇＣｏｌｕｍｂｉａ，ＩｎｆｏｒｍａｔｉｏｎＳｙｓｔｅｍｓＣａｎａｄａ，Ｐｒｏｃｅｓｓｉｎｇ２０：２１ｓｔ２００７：８７３⁃８８０．Ｓｙｓｔｅｍｓ．ＡｎｎｕａｌＶａｎｃｏｕｖｅｒ，

Ｃｏｎｆｅｒｅｎｃｅ上海罗恒：．基于协同过滤视角的受限玻尔兹曼机研究上海交通大学，２０１１．

［Ｄ］．

ＬＵＯｆｉｌｔｅｒｉｎｇＨｅｎｇ．ｐｅｒｓｐｅｃｔｉｖｅ［ＲｅｓｔｒｉｃｔｅｄＤ］．ＢｏｌｔｚｍａｎｎＳｈａｎｇｈａｉ，ｍａｃｈｉｎｅｓ：Ｃｈｉｎａ：ａＳｈａｎｇｈａｉｃｏｌｌａｂｏｒａｔｉｖｅＪｉａｏ１３第５期　　　　　　　　　　　　　　　　　刘帅师，等：深度学习方法研究新进展·５７５·

［１８］ＴｏｎｇＬＡＲＯＣＨＥＬＬＥＵｎｉｖｅｒｓｉｔｙ，２０１１．

ｃｒｉｍｉｎａｔｉｖｅｉｎｇｓｏｆｔｈｅｒｅｓｔｒｉｃｔｅｄＨ，ＢＥＮＧＩＯ２５ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＢｏｌｔｚｍａｎｎＹ．ｍａｃｈｉｎｅｓ［ＣｌａｓｓｉｆｉｃａｔｉｏｎＣｏｎｆｅｒｅｎｃｅＣ］ｏｎ／ｕｓｉｎｇ／Ｐｒｏｃｅｅｄ⁃ｄｉｓ⁃

Ｌｅａｒｎｉｎｇ．ＮｅｗＹｏｒｋ，ＮＹ，ＵＳＡ，２００８：５３６⁃５４３．Ｍａｃｈｉｎｅ［１９］张春霞学学报，，姬楠楠２０１５，３２（２）：，王冠伟１５９⁃１７３．

．受限波尔兹曼机［Ｊ］．工程数

ＺＨＡＮＧＢｏｌｔｚｍａｎｎＣｈｕｎｘｉａ，ｍａｔｈｅｍａｔｉｃｓ，ｍａｃｈｉｎｅｓＪＩ２０１５，［Ｎａｎｎａｎ，３２（２）：Ｊ］．ＣｈｉｎｅｓｅＷＡＮＧ１５９⁃１７３．ｊｏｕｒｎａｌＧｕａｎｗｅｉ．ｏｆｅｎｇｉｎｅｅｒｉｎｇＲｅｓｔｒｉｃｔｅｄ［２０］刘银华别研究．［Ｄ］．ＬＢＰ江门和深度信念网络在非条件下人脸识

：五邑大学，２０１４．

ＬＩＵｓｔｒａｉｎｅｄＹｉｎｈｕａ．Ｔｈｅｒｅｓｅａｒｃｈｏｆｆａｃｅｒｅｃｏｇｎｉｔｉｏｎｕｎｄｅｒｕｎｃｏｎ⁃［２１］Ｊｉａｎｇｍｅｎ：ｃｏｎｄｉｔｉｏｎＬＥＥＷｕｙｉｖｉａＬＢＰａｎｄｄｅｅｐｂｅｌｉｅｆｎｅｔｗｏｒｋ［Ｄ］．ｖｉｓｅｄＨ，ｔｉｏｎａｌｌｅａｒｎｉｎｇＧＲＯＳＳＥＵｎｉｖｅｒｓｉｔｙ，ｄｅｅｐｂｅｌｉｅｆｏｆｈｉｅｒａｒｃｈｉｃａｌＲ，ＲＡＮＧＡＮＡＴＨ２０１４．

ｎｅｔｗｏｒｋｓ［ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓＲ，ｅｔＪ］．Ｃｏｍｍｕｎｉｃａｔｉｏｎｓｗｉｔｈａｌ．Ｕｎｓｕｐｅｒ⁃

ｃｏｎｖｏｌｕ⁃ＡＣＭ，２０１１，５４（１０）：９５⁃１０３．

ｏｆｔｈｅ［２２］ＨＡＬＫＩＡＳｄｅｅｐ［ｂｅｌｉｅｆＸｎｅｔｗｏｒｋｓ：Ｃ，ＰＡＲＩＳｕｓｉｎｇＳ，ＧＬＯＴＩＮｔｈｅＨ．Ｓｐａｒｓｅｐｅｎａｌｔｙｉｎ

［２３］３５３３．ｐｄｆ．

ＥＢ／ＯＬ］．［２０１４⁃０５⁃０８］．ｈｔｔｐ：ｍｉｘｅｄ／／ａｒｘｉｖ．ｎｏｒｍｏｒｇ／ｐｄｆｃｏｎｓｔｒａｉｎｔ／１３０１．ＬＩＵｄｅｅｐＹａｎ，ＺＨＯＵＳｈｕｓｅｎ，ＣＨＥＮＱｉｎｇｃａｉ．［２４］ｔｅｒｎ郑胤ｒｅｃｏｇｎｉｔｉｏｎ，ｂｅｌｉｅｆｎｅｔｗｏｒｋｓｆｏｒｖｉｓｕａｌｄａｔａｃｌａｓｓｉｆｉｃａｔｉｏｎ［Ｄｉｓｃｒｉｍｉｎａｔｉｖｅ

Ｊ］．Ｐａｔ⁃别中的新进展，陈权崎，［章毓晋２０１１，Ｊ］．中国图象图形学报．４４（１０深度学习及其在目标和行为识

／１１）：２２８７⁃２２９６．，２０１４，１９（２）：

１７５⁃１８４．

ＺＨＥＮＧｉｎｇ［Ｊ］．ａｎｄＪｏｕｒｎａｌｉｔｓＹｉｎ，ｎｅｗＣＨＥＮｏｆｐｒｏｇｒｅｓｓＱｕａｎｑｉ，ｉｍａｇｅａｎｄｉｎｇｒａｐｈｉｃｓ，ｏｂｊｅｃｔＺＨＡＮＧａｎｄ２０１４，ｂｅｈａｖｉｏｒＹｕｊｉｎ．Ｄｅｅｐ１９（ｒｅｃｏｇｎｉｔｉｏｎｌｅａｒｎ⁃２）：１７５⁃

［２５］１８４．

ＶＩＮＣＥＮＴｔｒａｃｔｉｎｇＰ，ＬＡＲＯＣＨＥＬＬＥＨ，ＢＥＮＧＩＯＹ，ｔｏｅｎｃｏｄｅｒｓａｎｄＣｏｎｆｅｒｅｎｃｅ［ｃｏｍｐｏｓｉｎｇＣ］／／Ｐｒｏｃｅｅｄｉｎｇｓｒｏｂｕｓｔｆｅａｔｕｒｅｓｏｆｔｈｅｗｉｔｈ２５ｔｈｄｅｎｏｉｓｉｎｇｅｔａｌ．Ｅｘ⁃

Ｉｎｔｅｒｎａｔｉｏｎａｌａｕ⁃２００８：１０９６⁃１１０３．

ｏｎＭａｃｈｉｎｅＬｅａｒｎｉｎｇ．ＮｅｗＹｏｒｋ，ＮＹ，ＵＳＡ，［２６］ＢＥＮＧＩＯｌａｙｅｒ⁃ｗｉｓｅＹ，ｔｒａｉｎｉｎｇＬＡＭＢＬＩＮｏｆｄｅｅｐＰ，ＰＯＰＯＶＩＣＩｎｅｔｗｏｒｋｓ［ＣＤ，］／ｅｔ／Ａｄｖａｎｃｅｓａｌ．Ｇｒｅｅｄｙ

Ｎｅｕｒａｌｉｎ

ＣｏｎｆｅｒｅｎｃｅＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ１９：２０ｔｈ［２７］Ｖａｎｃｏｕｖｅｒ，ｏｎＲＩＦＡＩａｕｔｏ⁃ｅｎｃｏｄｅｒｓ：Ｓ，ＶＩＮＣＥＮＴＢｒｉｔｉｓｈＮｅｕｒａｌＣｏｌｕｍｂｉａ，ＩｎｆｏｒｍａｔｉｏｎＰ，ＭＵＬＬＥＲＣａｎａｄａ，ＰｒｏｃｅｓｓｉｎｇＡｎｎｕａｌＸ，２００６：Ｓｙｓｔｅｍｓ．ｅｔａｌ．１５３⁃１６０．

Ｃｏｎｔｒａｃｔｉｖｅ

Ｍａｃｈｉｎｅ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓｅｘｐｌｉｃｉｔｏｆｔｈｅｉｎｖａｒｉａｎｃｅ２８ｔｈＩｎｔｅｒｎａｔｉｏｎａｌｄｕｒｉｎｇｆｅａｔｕｒｅＣｏｎｆｅｒｅｎｃｅｅｘｔｒａｃｔｉｏｎＬｅａｒｎｉｎｇ．Ｂｅｌｌｅｖｕｅ，ＷＡ，ＵＳＡ，２０１１．

ｏｎ

［２８］ＭＡＳＣＩｌｕｔｉｏｎａｌＪ，［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓａｕｔｏ⁃ｅｎｃｏｄｅｒｓＭＥＩＥＲＵ，ＣＩＲＥŞＡＮｏｆｔｈｅｆｏｒ２１ｓｔｈｉｅｒａｒｃｈｉｃａｌＤ，ｅｔａｌ．Ｓｔａｃｋｅｄｃｏｎｖｏ⁃

ＩｎｔｅｒｎａｔｉｏｎａｌｆｅａｔｕｒｅＣｏｎｆｅｒｅｎｃｅｅｘｔｒａｃｔｉｏｎｏｎ

ｍａｎｙ，Ａｒｔｉｆｉｃｉａｌ２０１１：Ｎｅｕｒａｌ５２⁃５９．

Ｎｅｔｗｏｒｋｓ，ＰａｒｔＩ．ＢｅｒｌｉｎＨｅｉｄｅｌｂｅｒｇ，Ｇｅｒ⁃［２９］王雅思哈尔滨．：深度学习中的自编码器的表达能力研究哈尔滨工业大学，２０１４．

［Ｄ］．

ＷＡＮＧｃｏｄｅｒｓｉｎＹａｓｉ．ｄｅｅｐＲｅｐｒｅｓｅｎｔａｔｉｏｎｌｅａｒｎｉｎｇ［Ｄ］．ａｂｉｌｉｔｙＨａｒｂｉｎ：ｒｅｓｅａｒｃｈＨａｒｂｉｎｏｆＩｎｓｔｉｔｕｔｅａｕｔｏ⁃ｅｎ⁃Ｔｅｃｈｎｏｌｏｇｙ，２０１４．

ｏｆ［３０］李远豪究［Ｄ］．．江门基于深度自编码器的人脸美丽吸引力预测研

：五邑大学，２０１４．

ＬＩｔｉｏｎＹｕａｎｈａｏ．ｖｅｒｓｉｔｙ，ｂａｓｅｄ２０１４．

ｏｎＡｄｅｅｐｓｔｕｄｙａｕｔｏｅｎｃｏｄｅｒ［Ｄ］．ｆｏｒｆａｃｉａｌｂｅａｕｔｙＪｉａｎｇｍｅｎ：ａｔｔｒａｃｔｉｖｅｎｅｓｓＷｕｙｉｐｒｅｄｉｃ⁃Ｕｎｉ⁃［３１］林洲汉类方法研究．基于自动编码机的高光谱图像特征提取及分

［Ｄ］．哈尔滨：哈尔滨工业大学，２０１４．ＬＩＮｃｌａｓｓｉｆｉｃａｔｉｏｎＺｈｏｕｈａｎ．ＩｎｓｔｉｔｕｔｅｏｆＴｅｃｈｎｏｌｏｇｙ，ｂａｓｅｄＨｙｐｅｒｓｐｅｃｔｒａｌｏｎａｕｔｏｅｎｃｏｄｅｒｓ［ｉｍａｇｅｆｅａｔｕｒｅ２０１４．Ｄ］．Ｈａｒｂｉｎ：ｅｘｔｒａｃｔｉｏｎＨａｒｂｉｎａｎｄ［３２］曲建岭与展望，［Ｊ］．杜辰飞计算机与现代化，邸亚洲，等，．２０１４（８）：深度自动编码器的研究

１２８⁃１３４．ＱＵＪｉａｎｌｉｎｇ，ＤＵＣｈｅｎｆｅｉ，ＤＩＹａｚｈｏｕ，ｅｔａｌ．Ｒｅｓｅａｒｃｈａｎｄ［３３］林少飞２０１４（８）：ｐｒｏｓｐｅｃｔｏｆ１２８⁃１３４．

ｄｅｅｐａｕｔｏ⁃ｅｎｃｏｄｅｒｓ［Ｊ］．Ｊｉｓｕａｎｊｉｙｕｘｉａｎｄａｉｈｕａ，手写数字分类，盛惠兴［Ｊ］．，李庆武微处理机．基于堆叠稀疏自动编码器的

，２０１５（１）：４７⁃５１．ＬＩＮｄｉｇｉｔａｌＳｈａｏｆｅｉ，ｃｌａｓｓｉｆｉｃａｔｉｏｎＳＨＥＮＧｂａｓｅｄＨｕｉｘｉｎｇ，ｏｎｔｈｅｓｔａｃｋｅｄＬＩＱｉｎｇｗｕ．ｓｐａｒｓｅＨａｎｄｗｒｉｔｔｅｎａｕｔｏｅｎｃｏｄ⁃［３４］ｅｒｓ［Ｊ］．陈硕．深度学习神经网络在语音识别中的应用Ｍｉｃｒｏｐｒｏｃｅｓｓｏｒｓ，２０１５（１）：４７⁃５１．［Ｄ］．广州：华南理工大学，２０１３．

研究

ＣＨＥＮａｐｐｌｉｃａｔｉｏｎｓＳｈｕｏ．ｉｎＲｅｓｅａｒｃｈｓｐｅｅｃｈｒｅｃｏｇｎｉｔｉｏｎｏｆｄｅｅｐｌｅａｒｎｉｎｇ［Ｄ］．Ｇｕａｎｇｚｈｏｕ，ｎｅｕｒａｌｎｅｔｗｏｒｋｓＣｈｉ⁃［３５］ｎａ：郭丽丽Ｓｏｕｔｈ，丁世飞ＣｈｉｎａＵｎｉｖｅｒｓｉｔｙ．深度学习研究进展ｏｆＴｅｃｈｎｏｌｏｇｙ，［Ｊ］．２０１３．２０１５，４２（５）：２８⁃３３．

计算机科学，

ＧＯＵ［３６］ｉｎｇ［Ｊ］．Ｌｉｌｉ，ＶＡＮＤＥＮＣｏｍｐｕｔｅｒＤＩＮＧＳｈｉｆｅｉ．ＯＯＲＤｓｃｉｅｎｃｅ，ＲｅｓｅａｒｃｈＡ，ＤＩＥＬＥＭＡＮ２０１５，ｐｒｏｇｒｅｓｓ４２（５）：Ｓ，ＳＣＨＲＡＵＷＥＮ２８⁃３３．ｏｎｄｅｅｐｌｅａｒｎ⁃Ｄｅｅｐｃｏｎｔｅｎｔ⁃ｂａｓｅｄｍｕｓｉｃｒｅｃｏｍｍｅｎｄａｔｉｏｎ［Ｍ］／／Ａｄ⁃Ｂ．

ＡｎｎｕａｌｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ２６：２７ｔｈ［３７］ＨＡＮＮＵＮｔｅｍｓ．ＬａｋｅＣｏｎｆｅｒｅｎｃｅＴａｈｏｅ，ｏｎ２０１３：Ｎｅｕｒａｌ２６４３⁃２６５１．ＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓ⁃ｓｃａｌｉｎｇＡ，ＣＡＳＥＣ，ＣＡＳＰＥＲＪ，ｅｔＡｒｘｉｖ：Ａｒｘｉｖ，ｕｐｅｎｄ⁃ｔｏ⁃ｅｎｄ２０１４．［２０１４⁃１２⁃１９］ｓｐｅｅｃｈｒｅｃｏｇｎｉｔｉｏｎ［ＥＢａｌ．Ｄｅｅｐｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ＯＬ］．ｓｐｅｅｃｈ：

Ｅｐｒｉｎｔ／ｐｄｆ／［３８］１４１２．５５６７ｖ２．ｐｄｆ．

［Ｊ］．余凯，计算机研究与发展贾磊，陈雨强．深度学习的昨天，２０１３，５０（９）：１７９９⁃１８０４．、今天和明天

ＹＵｓｅａｒｃｈｄａｙ，Ｋａｉ，ｔｏｄａｙ，ＪＩＡａｎｄｄｅｖｅｌｏｐｍｅｎｔ，ａｎｄＬｅｉ，ｔｏｍｏｒｒｏｗＣＨＥＮＹｕｑｉａｎｇ．２０１３，［Ｊ］．５０（９）：ＪｏｕｒｎａｌＤｅｅｐｌｅａｒｎｉｎｇ：１７９９⁃１８０４．ｏｆｃｏｍｐｕｔｅｒｙｅｓｔｅｒ⁃ｒｅ⁃

·５７６·智　能　系　统　学　报　　　　　　　　　　　　　　　　　　第１１卷

Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０１４ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎ［５１］ＩＪＪＩＮＡＥＰ，ＭＯＨＡＮＣＫ．Ｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎ

ｕｓｉｎｇｋｉｎｅｃｔｄｅｐｔｈｓｅｎｓｏｒａｎｄｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔ⁃ＣｏｎｆｅｒｅｎｃｅｏｎＭａｃｈｉｎｅＬｅａｒｎｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ．Ｄｅ⁃ｔｒｏｉｔ，ＭＩ，２０１４：３９２⁃３９６．

ｗｏｒｋｓ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０１４１３ｔｈＩｎｔｅｒｎａｔｉｏｎａｌ［５２］ＢＹＥＯＮＹＨ，ＫＷＡＫＫＣ．Ｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎ

ｕｓｉｎｇ３Ｄｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ［Ｊ］．Ｉｎｔｅｒｎａｔｉｏｎａｌｊｏｕｒｎａｌｏｆａｄｖａｎｃｅｄｃｏｍｐｕｔｅｒｓｃｉｅｎｃｅａｎｄａｐｐｌｉｃａｔｉｏｎｓ，ＣｏｎｓｕｍｅｒＥｌｅｃｔｒｏｎｉｃｓ．ＬａｓＶｅｇａｓ，ＮＶ，２０１４：５６４⁃５６７．

［３９］ＧＩＲＳＨＩＣＫＲ，ＤＯＮＡＨＵＥＪ，ＤＡＲＲＥＬＬＴ，ｅｔａｌ．Ｒｉｃｈ

ｆｅａｔｕｒｅｈｉｅｒａｒｃｈｉｅｓｆｏｒａｃｃｕｒａｔｅｏｂｊｅｃｔｄｅｔｅｃｔｉｏｎａｎｄｓｅｍａｎ⁃ｔｉｃｓｅｇｍｅｎｔａｔｉｏｎ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０１４ＩＥＥＥＣｏｎ⁃ｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．Ｃｏ⁃［４０］ＴＡＩＧＭＡＮＹ，ＹＡＮＧＭｉｎｇ，ＲＡＮＺＡＴＯＭＡ，ｅｔａｌ．Ｄｅｅｐ⁃

ｖｅｒｉｆｉｃａｔｉｏｎ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０１４ＩＥＥＥＣｏｎｆｅｒ⁃ｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．Ｃｏｌｕｍ⁃ｂｕｓ，ＯＨ，２０１４：１７０１⁃１７０８．

ｌｕｍｂｕｓ，ＯＨ，２０１４：５８０⁃５８７．

Ｆａｃｅ：ｃｌｏｓｉｎｇｔｈｅｇａｐｔｏｈｕｍａｎ⁃ｌｅｖｅｌｐｅｒｆｏｒｍａｎｃｅｉｎｆａｃｅ

［５３］２０１４，ＪＵＮＧ５（１２）：Ｈ，ＬＥＥ１０７⁃１１２．

ｌｅａｒｎｉｎｇ⁃ｂａｓｅｄｆａｃｉａｌＳ，ＰＡＲＫｅｘｐｒｅｓｓｉｏｎＳ，ｅｔｒｅｃｏｇｎｉｔｉｏｎａｌ．Ｄｅｖｅｌｏｐｍｅｎｔ［５４］ＭＣＬＡＵＧＨＬＩＮＪａｐａｎＦｒｏｎｔｉｅｒｓＪｏｉｎｔｏｆＷｏｒｋｓｈｏｐＣｏｍｐｕｔｅｒｏｎＶｉｓｉｏｎ２０１５：１⁃４．

（ＦＣＶ），２０１５ｎｉｔｉｏｎｗｉｔｈｓｔａｎｆｏｒｄ．ｄｅｅｐ⁃ｂｅｌｉｅｆＴ，ＭＡＩｅｄｕ／ｐｒｏｊ２０１０ｎｅｔｗｏｒｋｓＬ，ＢＡＹＡＮＢＡＴ／ＭｃＬａｕｇｈｌｉｎＬｅＢａｙａｎｂａｔ⁃Ｒｅｃ⁃［ＥＢ／ＯＬ］．［５５］ＨＥｏｇｎｉｚｉｎｇＥｍｏｔｉｏｎｓＷｉｔｈＤｅｅｐＢｅｌｉｅｆＮｅｔｓ．ｐｄｆ．

ｃｓ２２９．ｐｒｅｓｓｉｏｎＳｈａｎ，ｒｅｃｏｇｎｉｔｉｏｎＷＡＮＧＳｈａｎｆｅｉ，ｕｓｉｎｇｄｅｅｐＬＡＮＷｕｗｅｉ，ｔｈｅｒｍａｌＡｓｓｏｃｉａｔｉｏｎｉｎｆｒａｒｅｄｉｍａｇｅｓ［Ｃ］Ｃｏｎｆｅｒｅｎｃｅ／／ＰｒｏｃｅｅｄｉｎｇｓＢｏｌｔｚｍａｎｎＩｎｔｅｌｌｉｇｅｎｔｍａｉｎｅＩｎｔｅｒａｃｔｉｏｎ．Ｇｅｎｅｖａ，ｏｎ２０１３：Ａｆｆｅｃｔｉｖｅ［５６］ＬＶｒｅｃｏｇｎｉｔｉｏｎＹａｄａｎ，ｖｉａＦＥＮＧｄｅｅｐＺｈｉｙｏｎｇ，ｌｅａｒｎｉｎｇＸＵ［ＣＣｈａｏ．２３９⁃２４４．

２０１４］／／ＰｒｏｃｅｅｄｉｎｇｓＫｏｎｇ，ＩｎｔｅｒｎａｔｉｏｎａｌＣｈｉｎａ，２０１４：Ｃｏｎｆｅｒｅｎｃｅ３０３⁃３０８．

ｏｎＳｍａｒｔ［５７］ＪＵＮＧＨ，ＬＥＥＳ，ＰＡＲＫＳ，ｆａｃｉａｌｅｔａｌ．Ｄｅｅｐｅｘｐｒｅｓｓｉｏｎ［５８］１２０．５２．７３．７５［ＥＢａｎｃｅ⁃ｇｅｏｍｅｔｒｙ／ＯＬ］．ＥｐｒｉｎｔｎｅｔｗｏｒｋＫＡＨＯＵ／ａｒｘｉｖ．ｏｒｇＡｒｘｉｖ：ｆｏｒ／ｐｄｆＡｒｘｉｖ，２０１５．［２０１５⁃６⁃５］．ｈｔｔｐ：／１５０３．０１５３２ｖ１．ｐｄｆ．

ＥｍｏＮｅｔｓ：ＳＥ，ＢＯＵＴＨＩＬＬＩＥＲＸ，ＬＡＭＢＬＩＮＩｎｔｅｒｆａｃｅｓ，ｔｉｏｎｒｅｃｏｇｎｉｔｉｏｎＭｕｌｔｉｍｏｄａｌｉｎｖｉｄｅｏ［ｄｅｅｐＪ］．ｌｅａｒｎｉｎｇＪｏｕｒｎａｌａｐｐｒｏａｃｈｅｓ２０１５，１０（２）：１⁃１３．

ｏｎ［５９］ＳＡＳＨＩＨＩＴＨＬＵｉｓｕｓｉｎｇｒｅｃｕｒｓｉｖｅＳ，ＳＯＭＡＮａｕｔｏｅｎｃｏｄｅｒｓＳＳ．［ＣｏｍｐｌｅｘＥＢ／ＯＬ］．２３４２６２５１．

ＣｉｔｅＳｅｅｒＸ，２０１３．［２０１５⁃９⁃３０］．ｈｔｔｐｓ：／／ｃｏｒｅ．ａｃ．ｕｋ［６０］ＪＯＨＮＳＯＮＲ，ＺＨＡＮＧＴｏｎｇ．Ｅｆｆｅｃｔｉｖｅｕｓｅ［ＥＢｆｏｒｔｅｘｔｃａｔｅｇｏｒｉｚａｔｉｏｎｗｉｔｈｃｏｎｖｏｌｕｔｉｏｎａｌ［６１］ｔｐ：李婷／／／ＯＬ］．１２０．５２．７３．７９ＥｐｒｉｎｔＡｒｘｉｖ：／ａｒｘｉｖ．ｏｒｇＡｒｘｉｖ，２０１４．／ｐｄｆ／１４１２．１０５８．ｐｄｆ．

［２０１４⁃１０⁃１０］．代化．，基于深度学习的盲文识别方法２０１５（６）：３７⁃４０．

［ＬＩＪｉｓｕａｎｊｉＴｉｎｇ．ｙｕＡｄｅｅｐｘｉａｎｄａｉｈｕａ，ｌｅａｒｉｎｇ２０１５（６）：ｍｅｔｈｏｄｆｏｒ３７⁃４０．

ｂｒａｉｌｌｅ［６２］ＫＯＺＩＯＬＢｏｌｔｚｍａｎｎＪｍａｃｈｉｎｅｓＡ，ＴＡＮｆｏｒＥＭ，ｃｌａｓｓｉｆｉｃａｔｉｏｎＤＡＩＬｉｐｉｎｇ，ｏｆｈｅｐａｔｏｃｅｌｌｕｌａｒｓｙｓｔｅｍ［ｏｆ２１ｓｔＫｏｒｅａＣ］ｄｅｅｐ

／－／Ｅｍｏｔｉｏｎｒｅｃｏｇ⁃

２００８ｈｔｔｐ：／／ｍａｃｈｉｎｅａｌ．Ｆａｃｉａｌｆｒｏｍｅｘ⁃

ｔｈｅ２０１３Ｈｕ⁃ａｎｄｅｘｐｒｅｓｓｉｏｎ

ｏｆＨｏｎｇｔｈｅ

ｒｅｃｏｇｎｉｔｉｏｎａｐｐｅａｒ⁃

／／Ｐｆｏｒｅｔｅｍｏ⁃

ａｌ．

ＵｓｅｒＣｏｒｅ．／ｄｉｓｐｌａｙａｃ．Ｕｋ：

／ｏｆｗｏｒｄｎｅｔｗｏｒｋｓ

ｏｒｄｅｒ

ｈｔ⁃计算机与现

ａｌ．Ｒｅｓｔｒｉｃｔｅｄ

ｃａｒ⁃［４１］ＴＯＳＨＥＶＡ，ＳＺＥＧＥｄＹＣ．ＤｅｅｐＰｏｓｅ：ｈｕｍａｎｐｏｓｅｅｓｔｉｍａ⁃

Ｒｅｃｏｇｎｉｔｉｏｎ．Ｃｏｌｕｍｂｕｓ，ＯＨ，２０１４：１６５３⁃１６６０．ｎａｎｎｅ．ｇｉｔｈｕｂ．ｉｏ／２０１５／０３／１７／ｐｌａｎｋｔｏｎ．ｈｔｍｌ．ｔｉｏｎｖｉａｄｅｅｐｎｅｕｒａｌｎｅｔｗｏｒｋｓ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０１４ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎ［４２］ＤＩＥＬＥＭＡＮＳ．Ｃｌａｓｓｉｆｙｉｎｇｐｌａｎｋｔｏｎｗｉｔｈｄｅｅｐｎｅｕｒａｌｎｅｔ⁃

ｗｏｒｋｓ［ＥＢ／ＯＬ］．（２０１５⁃０３⁃１７）［２０１５⁃０５⁃３０］．ｈｔｔｐ：／／ｂｅ⁃［４３］ＤＥＮＴＯＮＥ，ＷＥＳＴＯＮＪ，ＰＡＬＵＲＩＭ，ｅｔａｌ．Ｕｓｅｒｃｏｎｄｉ⁃

ｔｈｅ２１ｔｈＡＣＭＳＩＧＫＤＤＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＫｎｏｗｌ⁃［４４］ＬＯＮＧＪ，ＳＨＥＬＨＡＭＥＲＥ，ＤＡＲＲＥＬＬＴＦｕｌｌｙｃｏｎｖｏｌｕ⁃

ｔｉｏｎａｌｎｅｔｗｏｒｋｓｆｏｒｓｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔｉｏｎ［Ｊ］．ＩＥＥＥＣｏｎ⁃７９（１０）：１３３７⁃１３４２．

ｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ＆ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．２０１５，２０１５：１７３１⁃１７４０．

Ｎ．ｅｔｏｆＣｏｍｐｕｔｉｎｇＦａｃｉａｌＣｏｍｐｕｔｉｎｇ．ｔｅｍｐｏｒａｌｔｉｏｎａｌｈａｓｈｔａｇｐｒｅｄｉｃｔｉｏｎｆｏｒｉｍａｇｅｓ［Ｃ］／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｅｄｇｅＤｉｓｃｏｖｅｒｙａｎｄＤａｔａＭｉｎｉｎｇ．ＮｅｗＹｏｒｋ，ＮＹ，ＵＳＡ，

［４５］ＳＣＨＷＡＲＡＭ，ＳＣＨＵＬＺＨ，ＢＥＨＮＫＥＳ．ＲＧＢ⁃Ｄｏｂｊｅｃｔ

ｒｅｃｏｇｎｉｔｉｏｎａｎｄｐｏｓｅｅｓｔｉｍａｔｉｏｎｂａｓｅｄｏｎｐｒｅ⁃ｔｒａｉｎｅｄｃｏｎｖ⁃ｍａｔｉｏｎ．Ｓｅａｔｔｌｅ，ＷＡ，２０１５：１３２９⁃１３３５．

Ｃｏｍｐｕｔｅｒ

Ｖｉｓｉｏｎ

ａｎｄ

２０１５ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＲｏｂｏｔｉｃｓａｎｄＡｕｔｏ⁃ｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｆｅａｔｕｒｅｓ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ

［４６］ＳＣＨＲＯＦＦＦ，ＫＡＬＥＮＩＣＨＥＮＫＯＤ，ＰＨＩＬＢＩＮＪ．ＦａｃｅＮｅｔ：

Ａｕｎｉｆｉｅｄｅｍｂｅｄｄｉｎｇｆｏｒｆａｃｅｒｅｃｏｇｎｉｔｉｏｎａｎｄｃｌｕｓｔｅｒｉｎｇ［Ｃ］／／

（ＣＶＰＲ），Ｂｏｓｔｏｎ，ＵＳＡ，２０１５：８１５⁃８２３．

Ｐａｔｔｅｒｎ

Ｒｅｃｏｇｎｉｔｉｏｎ

［４７］ＳＡＲＦＲＡＺＭＳ，ＳＴＩＥＦＥＬＨＡＧＥＮＲ．Ｄｅｅｐｐｅｒｃｅｐｔｕａｌ

ｍａｐｐｉｎｇｆｏｒｔｈｅｒｍａｌｔｏｖｉｓｉｂｌｅｆａｃｅｒｅｃｏｇｎｉｔｉｏｎ．［ＥＢ／ＯＬ］７３．８０／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１５０７．０２８７９ｖ１．ｐｄｆ．

ＥｐｒｉｎｔＡｒｘｉｖ：Ａｒｘｉｖ，２０１５．［２０１５⁃１２⁃２３］．ｈｔｔｐ：／／１２０．５２．

Ｍｕｌｔｉｍｏｄａｌｓｅｎｔｉｍｅｎｔａｎａｌｙｓ⁃

［４８］ＬＩＵＭｅｎｇｙｉ，ＬＩＳｈａｏｘｉｎ，ＳＨＡＮＳｈｉｇｕａｎｇ，ｅｔａｌ．Ａｕ⁃ａ⁃

ｗａｒｅｄｅｅｐｎｅｔｗｏｒｋｓｆｏｒｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎ［Ｃ］／／ｏｇｎｉｔｉｏｎ．Ｓｈａｎｇｈａｉ，Ｃｈｉｎａ，２０１３：１⁃６．

Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０１３１０ｔｈＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒ⁃ｅｎｃｅａｎｄＷｏｒｋｓｈｏｐｓｏｎＡｕｔｏｍａｔｉｃＦａｃｅａｎｄＧｅｓｔｕｒｅＲｅｃ⁃［４９］ＯＵＥＬＬＥＴＳ．Ｒｅａｌ⁃ｔｉｍｅｅｍｏｔｉｏｎｒｅｃｏｇｎｉｔｉｏｎｆｏｒｇａｍｉｎｇｕ⁃

１４０８．３７５０ｖ１．ｐｄｆ．

Ａｒｘｉｖ：Ａｒｘｉｖ，２０１４．［２０１４⁃７⁃１６］．ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／ｒｏｂｕｓｔｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎｏｎａｓｍａｒｔｐｈｏｎｅ［Ｃ］／／ｓｉｎｇｄｅｅｐｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｔｗｏｒｋｆｅａｔｕｒｅｓ［ＥＢ／ＯＬ］．Ｅｐｒｉｎｔ

ｎｅｕｒａｌＪ］．ｒｅｃｏｇｎｉｔｉｏｎ［Ｊ］．ｅｔ［５０］ＳＯＮＧＩ，ＫＩＭＨＪ，ＪＥＯＮＰＢ．Ｄｅｅｐｌｅａｒｎｉｎｇｆｏｒｒｅａｌ⁃ｔｉｍｅ

第５期　　　　　　　　　　　　　　　　　刘帅师，等：深度学习方法研究新进展

４１８０６９．

ｃｉｎｏｍａ［Ｊ］．Ｃｏｍｐｕｔａｔｉｏｎａｌｂｉｏｌｏｇｙｊｏｕｒｎａｌ，２０１４，２０１４：［ＥＢ／ＯＬ］．２０１５［２０１５⁃０７⁃２８］．ｈｔｔｐ：／／ｊｅｆｆｒｅｙｄｆ．ｇｉｔｈｕｂ．ｉｏ／ｄｉａｂｅｔｉｃ⁃ｒｅｔｉｎｏｐａｔｈｙ⁃ｄｅｔｅｃｔｉｏｎ．

·５７７·

ｒｅｃｕｒｒｅｎｔｎｅｕｒａｌｎｅｔｗｏｒｋｌａｎｇｕａｇｅｍｏｄｅｌ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ［７６］ＬＩＵＳｈｕｊｉｅ，ＹＡＮＧＮａｎ，ＬＩＭｕ，ｅｔａｌ．Ａｒｅｃｕｒｓｉｖｅｒｅｃｕｒ⁃

［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ５２ｎｄＡｎｎｕａｌＭｅｅｔｉｎｇｏｆｔｈｅＡｓ⁃ｓｏｃｉａｔｉｏｎｆｏｒＣｏｍｐｕｔａｔｉｏｎａｌＬｉｎｇｕｉｓｔｉｃｓ．Ｂａｌｔｉｍｏｒｅ，Ｍａｒｙ⁃［７７］ＳＵＴＳＫＥＶＥＲＩ，ＶＩＮＹＡＬＳＯ，ＬＥＱＶ．Ｓｅｑｕｅｎｃｅｔｏｓｅ⁃

ｑｕｅｎｃｅｌｅａｒｎｉｎｇｗｉｔｈｎｅｕｒａｌｎｅｔｗｏｒｋｓ［ＥＢ／ＯＬ］．２０１４．ｌａｎｄ，ＵＳＡ，２０１４：１４９１⁃１５００．

ＳｐｅｅｃｈａｎｄＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ．Ｐｒａｇｕｅ，２０１１：５５２８⁃５５３１．

［６３］ＦＡＵＷＪＤ．Ｄｅｔｅｃｔｉｎｇｄｉａｂｅｔｉｃｒｅｔｉｎｏｐａｔｈｙｉｎｅｙｅｉｍａｇｅｓ［６４］ＣＵＮＹＬ，ＢＯＳＥＲＢ，ＤＥＮＫＥＲＪＳ，ｅｔａｌ．Ｈａｎｄｗｒｉｔｔｅｎ

ｄｉｇｉｔｒｅｃｏｇｎｉｔｉｏｎｗｉｔｈａｂａｃｋ⁃ｐｒｏｐａｇａｔｉｏｎｎｅｔｗｏｒｋ［Ｃ］／／Ｆｒａｎｃｉｓｃｏ，ＣＡ，ＵＳＡ，１９９０：３９６⁃４０４．

ＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ２．Ｓａｎ［６５］ＪＩＳｈｕｉｗａｎｇ，ＸＵＷｅｉ，ＹＡＮＧＭｉｎｇ，ｅｔａｌ．３Ｄｃｏｎｖｏｌｕ⁃

ｏｆｔｈｅ２０１１ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＡｃｏｕｓｔｉｃｓ，ｒｅｎｔｎｅｕｒａｌｎｅｔｗｏｒｋｆｏｒｓｔａｔｉｓｔｉｃａｌｍａｃｈｉｎｅｔｒａｎｓｌａｔｉｏｎ

ｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓｆｏｒｈｕｍａｎａｎａｌｙｓｉｓａｃｔｉｏｎａｎｄｒｅｃｏｇｎｉｔｉｏｎｇｅｎｃｅ，ＩＥＥＥｔｒａｎｓａｃｔｉｏｎｓ２０１３，３５（１）：ｏｎｐａｔｔｅｒｎ２２ｌ⁃２３１．

ｍａｃｈｉｎｅ［６６］ＨＩＮＴＯＮａｌｇｏｒｉｔｈｍＧｆｏｒＥ，ｄｅｅｐＯＳＩＮＤＥＲＯＳ，ＴＥＨＹＷ．Ａｆａｓｔ［６７］２００６，ＳＡＬＡＫＨＵＴＤＩＮＯＶ１８（７）：１５２７⁃１５５４．

ｂｅｌｉｅｆｎｅｔｓ［Ｊ］．Ｎｅｕｒａｌｃｏｍｐｕｔａｔｉｏｎ，ｍａｃｈｉｎｅｓ［Ｃ］Ｒ，ＨＩＮＴＯＮＧＥ．Ｄｅｅｐｆｅｒｅｎｃｅｔｅｒ，Ｆｌｏｒｉｄａ，ｏｎＡｒｔｉｆｉｃｉａｌ／／ＰｒｏｃｅｅｄｉｎｇｓＵＳＡ，２００９：Ｉｎｔｅｌｌｉｇｅｎｃｅｏｆｔｈｅ４４８⁃４５５．

ａｎｄ１２ｔｈＳｔａｔｉｓｔｉｃｓ．Ｉｎｔｅｒｎａｔｉｏｎａｌ［６８］杜骞华中师范大学．深度学习在图像语义分类中的应用，２０１４．

［ＤＵｃｌａｓｓｉｆｉｃａｔｉｏｎ［Ｄ］．Ｑｉａｎ．Ａｐｐｌｉｃａｔｉｏｎｔｙ，２０１４．

Ｗｕｈａｎ：ｏｆｄｅｅｐＣｅｎｔｒａｌｌｅａｒｎｉｎｇＣｈｉｎａｉｎＮｏｒｍａｌｉｍａｇｅ［６９］ＢＥＮＧＩＯｄａｔｉｏｎｓａｎｄＹ．ｔｒｅｎｄｓｅＬｅａｒｎｉｎｇｉｎｄｅｅｐｍａｃｈｉｎｅａｒｃｈｉｔｅｃｔｕｒｅｓｌｅａｒｎｉｎｇ，ｆｏｒ２００９，ＡＩ［［７０］ＨＩＮＴＯＮ１２７．ｉｎＧＥ，ＳＥＪＮＯＷＳＫＩＴＪ．Ｌｅａｒｎｉｎｇａｎｄｉｎｇ：Ｂｏｌｔｚｍａｎｎｍａｃｈｉｎｅｓ［Ｍ］［７１］ＳＭＯＬＥＮＳＫＹｂｒｉｄｇｅ，ＥｘｐｌｏｒａｔｉｏｎｓＭＡ，ＵＳＡ：ｉｎＭＩＴｔｈｅＭｉｃｒｏｓｔｒｕｃｔｕｒｅ／／ＰａｒａｌｌｅｌＤｉｓｔｒｉｂｕｔｅｄＰｒｅｓｓ，ｏｆＣｏｇｎｉｔｉｏｎ．ｔｅｍｓ：ｔｒｉｂｕｔｅｄｆｏｕｎｄａｔｉｏｎｓＰ．ＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇ：ｏｆＥｘｐｌｏｒａｔｉｏｎｓｈａｒｍｏｎｙｐｒｏｃｅｓｓｉｎｇ１９８６．

ｔｈｅｏｒｙｉｎｔｈｅ［Ｍ］ｉｎ／ｄｙｎａｍｉｃａｌ／ＰａｒａｌｌｅｌＣｏｇｎｉｔｉｏｎ．Ｃａｍｂｒｉｄｇｅ，ＭＡ，ＵＳＡ：ＭＩＴＰｒｅｓｓ，Ｍｉｃｒｏｓｔｒｕｃｔｕｒｅ［７２］ＲＵＭＥＬＨＡＲＴＬｅａｒｎｉｎｇｒｅｐｒｅｓｅｎｔａｔｉｏｎｓＤＥ，ＨＩＮＴＯＮＮａｔｕｒｅ，１９８６，３２３（６０８８）：ｂｙ５３３⁃５３６．

ｂａｃｋ⁃ｐｒｏｐａｇａｔｉｎｇＧＥ，ＷＩＬＬＩＡＭＳ［７３］ＭＩＫＯＬＯＶｒｅｎｔＴ，ＫＡＲＡＦＩÁＴＭ，ＢＵＲＧＥＴＬ，ｅｔｉｎｇｓｎｅｕｒａｌｏｆｔｈｅＩｎｔｅｒｓｐｅｅｃｈｎｅｔｗｏｒｋｂａｓｅｄ２０１０ｌａｎｇｕａｇｅ１１ｔｈＡｎｎｕａｌｍｏｄｅｌ［ＣｏｎｆｅｒｅｎｃｅＣ］Ｉｎｔｅｒｎａｔｉｏｎａｌｈａｒｉ，Ｃｈｉｂａ，ＳｐｅｅｃｈＪａｐａｎ，２０１０：Ｃｏｍｍｕｎｉｃａｔｉｏｎ１０４５⁃１０４８．

Ａｓｓｏｃｉａｔｉｏｎ．［７４］ＤＥＮＧｔｅｃｔｕｒｅＬｉ，ＹＵＤｏｎｇ．Ｄｅｅｐｃｏｎｖｅｘｎｅｔ：ａｓｃａｌａｂｌｅｏｆＣｏｍｍｕｎｉｃａｔｉｏｎｔｈｅ１２ｔｈｆｏｒｓｐｅｅｃｈＡｎｎｕａｌｐａｔｔｅｒｎＡｓｓｏｃｉａｔｉｏｎ．Ｃｏｎｆｅｒｅｎｃｅｃｌａｓｓｉｆｉｃａｔｉｏｎ［Ｃ］／／２２９９．

Ｆｌｏｒｅｎｃｅ，ｏｆｔｈｅＩｎｔｅｒｎａｔｉｏｎａｌＩｔａｌｙ，２０１１：［７５］ＭＩＫＯＬＯＶＴ，ＫＯＭＢＲＩＮＫＳ，ＢＵＲＧＥＴＬ．Ｅｘｔｅｎｓｉｏｎｓｉｎｔｅｌｌｉ⁃［Ｊ］．［２０１４⁃１０⁃１２］．ｈｔｔｐ：／／１２０．５２．７３．７９／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１４０９．［７８］ＧＲＡＶＥＳ３２１５ｖ３．ｐｄｆ．

ｌｅａｒｎｉｎｇ

ｎｉｔｉｏｎＡ，ＭＯＨＡＭＥＤｉｎｇｓｏｆｗｉｔｈｔｈｅｄｅｅｐ２０１３ｒｅｃｕｒｒｅｎｔＡＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌｎｅｕｒａｌＲ，ＨＩＮＴＯＮｎｅｔｗｏｒｋｓ［Ｇ．ＣｏｎｆｅｒｅｎｃｅＣ］Ｓｐｅｅｃｈ／ｏｎ／Ｐｒｏｃｅｅｄ⁃ｒｅｃｏｇ⁃

Ａｃｏｕｓ⁃２０１３：ｔｉｃｓ，Ｓｐｅｅｃｈ６６４５⁃６６４９．

ａｎｄＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ．Ｖａｎｃｏｕｖｅｒ，ＢＣ，Ｃｌｅａｒｗａ⁃Ｃｏｎ⁃［７９］ＳＺＥＧＥＤＹｔｒｉｇｕｉｎｇｐｒｏｐｅｒｔｉｅｓＣ，ＺＡＲＥＭＢＡｏｆｎｅｕｒａｌＷ，ｎｅｔｗｏｒｋｓＳＵＴＳＫＥＶＥＲ［ＥＢ／ＯＬＩ，］．ｅｔＥｐｒｉｎｔ

ａｌ．Ｉｎ⁃

武汉：

Ａｒｘｉｖ：ｓｅｍａｎｔｉｃ［８０］ａｒｘｉｖ．ｏｒｇＡｒｘｉｖ，２０１４．［２０１４⁃１０⁃１２］．ＮＧＵＹＥＮ／ｐｄｆ／１３１２．６１９９ｖ４．ｐｄｆ．ｈｔｔｐ：／／１２０．５２．７３．７８／ｗｏｒｋｓＡ，ＹＯＳＩＮＳＫＩＪ，ＣＬＵＮＥＪＤｅｅｐｕｎｒｅｃｏｇｎｉｚａｂｌｅａｒｅｅａｓｉｌｙｎｅｕｒａｌｎｅｔ⁃

／ＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＦｏｕｎ⁃

Ｒｅｃｏｇｎｉｔｉｏｎ．ＩＥＥＥ，ｉｍａｇｅｓ［Ｃ］ｆｏｏｌｅｄ：ＨｉｇｈＢｏｓｔｏｎ，ＵＳＡ，２０１５：４２７⁃４３６．

／ｃｏｎｆｉｄｅｎｃｅｐｒｅｄｉｃｔｉｏｎｓｆｏｒ

１⁃［８１］ＬＩＰＴＯＮ［ＥＢ／ＯＬ］．ＺＣ．［２０１５⁃０７⁃２８］．（Ｄｅｅｐｌｅａｒｎｉｎｇ’ｓｈｔｔｐ：ｄｅｅｐ／／ｗｗｗ．ｆｌａｗｓ）’ｓｋｄｎｕｇｇｅｔｓ．ｄｅｅｐｃｏｍｆｌａｗｓ

２０１５／

Ｐｒｏｃｅｓｓ⁃ｈｔｍｌ．

／０１／ｄｅｅｐ⁃ｌｅａｒｎｉｎｇ⁃ｆｌａｗｓ⁃ｕｎｉｖｅｒｓａｌ⁃ｍａｃｈｉｎｅ⁃ｌｅａｒｎｉｎｇ．作者简介：

Ｃａｍ⁃刘帅师，女，１９８１年生，讲师，博士，主要研究方向为模式识别、计算机视觉。

Ｄｉｓ⁃ｓｙｓ⁃

ｏｆ［ＲＪ］．Ｊ．

程曦，男，１９８９年生，硕士研究生，主要研究方向为模式识别、机器学习。

Ｒｅｃｕｒ⁃

Ｍａｋｕ⁃ｏｆｔｈｅ

ａｒｃｈｉ⁃

郭文燕，女，１９９１年生，硕士研究生，主要研究方向为模式识别、机器Ｓｐｅｅｃｈ学习。

２２９６⁃

ｏｆ

Ｄ］．Ｕｎｉｖｅｒｓｉ⁃Ｊ］．Ｂｏｌｔｚｍａｎｎ

２（１）：ｒｅｌｅａｒｎｉｎｇ

１９８６．ｅｒｒｏｒｓａｌ．／／Ｐｒｏｃｅｅｄ⁃Ｐｒｏｃｅｅｄｉｎｇｓ