第３１卷第１期（下） ２０１５年１月 赤峰学院学报（自然科学版） Ｊｏｕｒｎａｌ ｏｆ Ｃｈｉｆｅｎｇ Ｕｎｉｖｅｒｓｉｔｙ（Ｎａｔｕｒｌａ Ｓｃｉｅｎｃｅ Ｅｄｉｔｉｏｎ） Ｖｏ１．３ｌ Ｎｏ．１ Ｊａｎ．２０１５ 新型深度学习算法研究概述 马 超，徐瑾辉，侯天诚，蓝 斌 （广东外语外贸大学 金融学院，广东 广州 ５１０００６） 摘要：作为一个具有巨大应用前景研究方向，深度学习无论是在算法研究，还是在实际应用（如语音识别，自然语言处 理、计算机视觉）中都表现出其强大的潜力和功能．本文主要介绍这种深度学习算法．并介绍其在金融领域的领用． 关键词：深度学习；受限波兹曼机；堆栈自编码神经网络；稀疏编码；特征学习 中图分类号：ＴＰ１８１ 文献标识码：Ａ 文章编号：１６７３—２６０Ｘ（２０１５）０１—００３７—０３ １深度学习的研究意义 切入点，本项目借鉴时频分析与小波分析中的方法，结合数 学分析领域中的泛函分析技术，与堆栈自编码神经网络相 结合，提出一种新的深度学习算法——深度泛函网络．为了 深度学习是一类新兴的多层神经网络学习算法，因其 缓解了传统训练算法的局部最小性，引起机器学习领域的 广泛关注．深度学习的特点是，通过一系列逻辑回归的堆栈 作为运算单元，对低层数据特征进行无监督的再表示（该过 验证算法的有效性及优越性 ，本项目将把新算法应用于金 融时间序列的领域． 程称为预学习），形成更加抽象的高层表示（属性类别或特 征），以发现数据的分布式特征表示．深度学习的这种特性由 于与脑神经科学理论相一致，因此被广泛应用于语音识别、 在目前国内外对于深度学习的研究中，几乎没有任何 将深度学习技术运用于金融数据的研究．通过提出并运用得 当的深度序列学习方法，我们期望从金融数据中抽取更高 级的、具有经济学意义或预测性意义的高级特征（与人工设 计的“技术指标”相对应），并开发相应的量化交易策略，并 自然语言处理和计算机视觉等领域． 生物学研究表明【ｌ】：在生物神经元突触的输出变化与输 入脉冲的持续时间有关，即依赖于持续一定时间的输入过 程，输出信号既依赖于输入信号的空间效应和阈值作用，也 依赖于时间总和效应． 传统的深度学习方法虽然较好地模拟了生物神经元的 一与其它传统算法进行对比，以说明所提算法的可行性和优 越性． ２国内外研究现状 人类感知系统具有的层次结构，能够提取高级感官特 个重要特性——空间总和效应上的深度，却忽视了生物 征来识别物体（声音），因而大大降低了视觉系统处理的数 据量，并保留了物体有用的结构信息．对于要提取具有潜在 复杂结构规则的自然图像、视频、语音和音乐等结构丰富数 据，人脑独有的结构能够获取其本质特征［３１．受大脑结构分层 次启发，神经网络研究人员一直致力于多层神经网络的研 究．训练多层网络的算法以ＢＰ算法为代表，其由于局部极 神经元的另一个重要特性——时间总和效应上的宽度［２］．因 此，对于连续的时间变量问题（如语音识别），传统深度学习 方法只能将连续的时间函数关系转化为空间关系，即离散 化为时间序列进行处理．这样做有几个弊端： （１）可能造成深度学习算法对时间采样频率的十分敏 感，鲁棒性较差．这使得，不同时间尺度下，需要使用不同的 数据和算法．这无疑是十分不方便的； （２）导致深度网络规模过大，使得计算开销增大、学习 效果变差、泛化性能降低； 值、权重衰减等问题，对于多于２个隐含层的网络的训练就 已较为困难［４１，这使得实际应用中多以使用单隐含层神经网 络居多． 该问题由ＨｉｎｔｏｎｔＳｌ所引入的逐层无监督训练方法所解 （３）难以满足实际应用对算法的实时性的要求，更难以 体现连续输入信息的累积效应，大大降低深度学习算法的 实用性． 决．具体地，该法对深度神经网络中的每一层贪婪地分别进 行训练：当前一层被训练完毕后，下一层网络的权值通过对 该层的输入（即前一层的输出）进行编码（Ｅｎｃｏｄｉｎｇ，详见下 因此，对传统的深度学习算法进行改进，使其不但具有 “深度”，亦能具有“宽度”，能够对连续时变数据进行更好的 文）而得到．当所有隐含层都训练完毕后，最后将使用有监督 的方法对整个神经网络的权值再进行精确微调．在Ｈｉｎｔｏｎ 的原始论文中，逐层贪婪训练是通过受限波兹曼机 特征提取、提高算法效率和实用性，显得势在必行．基于这个 基金项目：本文系“国家级大学生创新诩Ｉ练计划资助项目（Ｎｏ．２０１４１１８４６００１）” 一３７— 然缺乏较好解决时间过程（序列）问题的方案． ４金融时序数据中的应用 ｃｏｄｅｒｓ【Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２５ｔｈ ｉｎｔｅｎａｒｔｉｏｎａｌ ｃｏｎｆｅｒ－ ｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ．ＡＣＭ，２００８：１０９６—１ １０３． 传统金融理论认为，金融市场中的证券价格满足伊藤 过程，投资者无法通过对历史数据的分析获得超额利润．然 ［７］Ｌｅｅ Ｈ，Ｇｒｏｓｓｅ Ｒ，Ｒａｎｇａｎａｔｈ Ｒ，ｅｔ ａ１．Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ ｆｏｒ ｓｃａｌａｂｌｅ ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ 而，大量实证研究却表明，中国股票价格波动具有长期记忆 性，拒绝随机性假设，在各种时间尺度上都存在的可以预测 的空间．因此，如何建立预测模型，对于揭示金融市场的内在 规律，这无论是对于理论研究，还是对于国家的经济发展和 广大投资者，都具有重要的意义． 股票市场是一个高度复杂的非线性系统，其变化既有 内在的规律性，同时也受到市场，宏观经济环境，以及非经 ｏｆ ｈｉｅｒａｒｃｈｉｃａｌ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ【Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２６ｔｈ Ａｎｎｕａｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ．ＡＣＭ，２００９：６０９—６１６． ［８］Ｖｉｎｃｅｎｔ Ｐ，ＬａｒｏｃｈｅＨｅ Ｈ，Ｌａｊｏｉｅ Ｉ，ｅｔ ａ１．Ｓｔａｃｋｅｄ ｄｅ— ｎｏｉｓｉｎｇ ａｕｔｏｅｎｃｏｄｅ￣：Ｌｅａｒｎｉｎｇ ｕｓｅｆｕｌ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｉｎ ａ ｄｅｅｐ ｎｅｔｗｏｒｋ ｗｉｔｈ ａ ｌｏｃａｌ ｄｅｎｏｉｓｉｎｇ ｃｉｒｔｅｉｒｏｎ卟Ｔｈｅ ｊｏｕｒｎａｌ ｏｆ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｒｅｓｅａｒｃｈ，２０１０，９９９９： 济原因等诸多因素的影响．目前国内外对证券价格进行预测 的模型大致分为两类：一是以时间序列为代表的统计预测 模型；该类方法具有坚实的统计学基础，但由于金融价格数 据存在高噪声、波动大、高度非线性等特征，使得该类传统 方法元法提供有效的工具．另一类是以神经网络、支持向量 机等模型为代表的数据挖掘模型．该类模型能够处理高度非 线性的数据，基本上从拟合的角度建模．虽然拟合精度较高， 但拟合精度的微小误差往往和市场波动互相抵消，导致无 法捕捉获利空间甚至导致损失，外推预测效果无法令人满 意．因此，建立即能够处理非线性价格数据，又有良好泛化能 力的预测模型势在必行． 参考文献： ［１］Ｚｈａｎｇ Ｌ Ｉ，Ｔａｏ Ｈ Ｗ，Ｈｏｌｔ Ｃ Ｅ，ｅｔ ａ１．Ａ ｃｒｉｔｉｃａｌ ｗｉｎ— ｄｏｗ ｆｏｒ ｃｏｏｐｅｒａｔｉｏｎ ａｎｄ ｃｏｍｐｅｔｉｔｉｏｎ ａｍｏｎｇ ｄｅｖｅｌｏｐｉｎｇ ｒｅｔｉｎｏｔｅｃｔａｌ ｓｙｎａｐｓｅｓＵＪ．Ｎａｔｕｒｅ，１９９８，３９５（６６９７）． ［２］３７－４４．欧阳楷，邹睿．基于生物的神经网络的理论框 架——神经元模型Ｕ】．北京生物医学工程，１９９７，１６（２）：９３— １０１． ［３］Ｒｏｓｓｉ Ａ Ｆ，Ｄｅｓｉｍｏｎｅ Ｒ，Ｕｎｇｅｒｌｅｉｄｅｒ Ｌ Ｇ．Ｃｏｎｔｅｘｔｕａｌ ｍｏｄｕｌａｔｉｏｎ ｉｎ ｐｒｉｍａｒｙ ｖｉｓｕａｌ ｃｏｄｅｘ ｏｆ ｍａｃａｑｕｅｓ卟ｔｈｅ Ｊｏｕｒｎａｌ ｏｆ Ｎｅｕｒｏｓｃｉｅｎｃｅ，２００１，２１（５）：１６９８—１７０９． ［４］Ｂｅｎｇｉｏ Ｙ．Ｌｅａｒｎｉｎｇ ｄｅｅｐ ａｒｃｈｉｔｅｃｔｕｒｅｓ ｆ０ｒ ＡＩ Ｕ１．Ｆｏｕｎ— ｄａｔｉｏｎｓ ａｎｄ ｔｒｅｎｄｓ？ｉｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ，２００９，２（１）：１— １２７． ［５］Ｈｉｎｔｏｎ Ｇ Ｅ，Ｏｓｉｎｄｅｒｏ Ｓ，Ｔｅｈ Ｙ Ｗ．Ａ ｆａｓｔ ｌｅａｒｎｉｎｇ ａｌ— ｇｏｒｉｔｈｍ ｆｏｒ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｓⅡ１．Ｎｅｕｒｌａ ｃｏｍｐｕｔａｔｉｏｎ， ２００６，１８（７）：１５２７—１５５４． ［６］Ｖｉｎｃｅｎｔ Ｐ，ＬａｒｏｃｈｅＵｅ Ｈ，Ｂｅｎｇｉｏ Ｙ，ｅｔ ａ１．Ｅｘｔｒａｃｔｉｎｇ ａｎｄ ｃｏｍｐｏｓｉｎｇ ｒｏｂｕｓｔ ｆｅａｔｕｒｅｓ ｗｉｔｈ ｄｅｎｏｉｓｉｎｇ ａｕｔｏｅｎ— ３３７１－３４０８． ［９］Ｏｌｓｈａｕｓｅｎ Ｂ Ａ，Ｆｉｅｌｄ Ｄ Ｊ．Ｓｐａｒｓｅ ｃｏｄｉｎｇ ｗｉｔｈ ａｎ ｏｖｅｒ－ ｃｏｍｐｌｅｔｅ ｂａｓｉｓ ｓｅｔ：Ａ ｓｔｒａｔｅｇｙ ｅｍｐｌｏｙｅｄ ｂｙ ＶＩ？卟Ｖｉ— ｓｉｏｎ ｒｅｓｅａｒｃｈ，１９９７，３７（２３）：３３１ １—３３２５． ［１０］Ｌｅｅ Ｈ，Ｂａｔｌｔｅ Ａ，Ｒａｉｎａ Ｒ，ｅｔ ａ１．Ｅｆｉｆｃｉｅｎｔ ｓｐａ￣ｅ ｃｏｄ— ｉｎｇ ａｌｇｏｒｉｔｈｍｓ Ｄ１．Ａｄｖａｎｃｅｓ ｉｎ ｎｅｕｒｌａ ｉｎｆｏｒｍａｉｔｏｎ ｐｒｏ— ｃｅｓｓｉｎｇ ｓｙｓｔｅｍｓ，２００７，１ ９：８０１． ［１ １］Ｌｅｅ Ｈ，Ｅｋａｎａｄｈａｍ Ｃ，Ｎｇ Ａ Ｙ．Ｓｐａ￣ｅ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔ ｍｏｄｅｌ ｆｏｒ ｖｉｓｕａｌ ａｒｅａ Ｖ２［Ｃ］／／ＮＩＰＳ．２００７，７： ８７３－８８０． ［１２）Ｒａｉｎａ Ｒ，Ｂａｔｔｌｅ Ａ，Ｌｅｅ Ｈ，ｅｔ ａ１．Ｓｅｌｆ－ｔａｕｇｈｔ ｌｅａｒｎｉｎｇ： ｔｒａｎｓｆｅｒ ｌｅａｒｎｉｎｇ ｆｒｏｍ ｕｎｌａｂｅｌｅｄ ｄａｔａ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２４ｔｈ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ． ＡＣＭ．２００７：７５９—７６６． ［１３］Ｌｅｅ Ｈ，Ｇｒｏｓｓｅ Ｒ，Ｒ．ａｎｇａｎａｔｈ Ｒ，ｅｔ ａ１．Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ ｆｏｒ ｓｃａｌａｂｌｅ ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ ｏｆ ｈｉｅｒａｒｃｈｉｃａｌ ｒｅｐｒｅｓｅｎｔａｉｔｏｎｓ【Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２６ｔｈ Ａｎｎｕａｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ．ＡＣＭ，２００９：６０９—６１６． ［１４］Ｔａｙｌｏｒ Ｇ Ｗ，Ｈｉｎｔｏｎ Ｇ Ｅ，Ｒｏｗｅｉｓ Ｓ Ｔ．Ｍｏｄｅｌｉｎｇ ｈｕｍａｎ ｍｏｔｉｏｎ ｕｓｉｎｇ ｂｉｎａｒｙ ｌａｔｅｎｔ ｖａｉｒａｂｌｅｓ［Ｊ］．Ａｄｖａｎｃｅｓ ｉｎ ｎｅｕｒａｌ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ｓｙｓｔｅｍｓ，２００７，１９： １３４５． ［１５］Ｓｕｔｓｋｅｖｅｒ Ｉ，Ｈｉｎｔｏｎ Ｇ Ｅ，Ｔａｙｌｏｒ Ｇ Ｗ．Ｔｈｅ Ｒｅｃｕｒ— ｒｅｎｔ Ｔｅｍｐｏｒａｌ Ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ【Ｃ］／／ ＮＩＰＳ．２００８，２１：２００８． ［１６］Ｌｏｃｋｅ￣Ａ Ｊ，Ｍｉｉｋｋｕｌａｉｎｅｎ Ｒ．Ｔｅｍｐｏｒａｌ ｃｏｎｖｏｌｕｔｉｏｎ ｍａｃｈｉｎｅｓ ｆｏｒ ｓｅｑｕｅｎｃｅ ｌｅａｎｒｉｎｇⅡ】．Ｔｏ Ａｐｐｅａｒ，２００９： 】一８． 一３９—
