深度学习优化与识别

《深度学习、优化与识别》的特色

深度学习是计算机科学与人工智能的重要组成部分。全书16章，分为理论与实践应用两部分，同时介绍5种深度学习主流平台的特性与应用，后给出了深度学习的前沿进展介绍，另附带47种相关网络模型的实现代码。本书具有以下的特点：

一、内容系统全面

《深度学习、优化与识别》共16章，覆盖了深度学习当前出现的诸多经典框架或模型，《深度学习、优化与识别》分为两个部分。《深度学习、优化与识别》第一部分系统地从数据、模型、优化目标函数和求解等四个方面论述了深度学习的理论及算法，如卷积神经网络、深度生成模型等；第二部分基于5种主流的深度学习平台给出了深度网络在自然图像、卫星遥感影像等领域的应用，如分类、变化检测、目标检测与识别等任务。另外给出了深度学习发展的脉络图及新研究进展，提供可基于5种平台实现的47中深度网络代码，以便有兴趣的读者进一步钻研探索。

二、叙述立场客观

作为深度学习的入门教材，尽可能不带偏见地对材料进行分析、加工以及客观介绍。《深度学习、优化与识别》理论部分均从模型产生的本源来介绍，并给出各个经典模型之间内在的相互联系。《深度学习、优化与识别》实践应用部分对相关任务做了详尽的分析，并给出深度学习应用实践的经验总结。

三、设计装帧精美

《深度学习、优化与识别》设计人性化，文字、公式、数学符号混排格式美观精致，特别是，《深度学习、优化与识别》全书采用全彩印制，软精装装帧。封面设计清新却不脱俗、学术化，足可以看出出版社和作者的用心。

深度神经网络是近年来受到广泛关注的研究方向，它已成为人工智能2.0的主要组成部分。《深度学习、优化与识别》系统地论述了深度神经网络基本理论、算法及应用。《深度学习、优化与识别》全书共16章，分为两个部分；第一部分（第1章～10章）系统论述了理论及算法，包括深度前馈神经网络、深度卷积神经网络、深度堆栈神经网络、深度递归神经网络、深度生成网络、深度融合网络等；第二部分（第11～15章）论述了常用的深度学习平台，以及在高光谱图像、自然图像、SAR与极化SAR影像等领域的应用；第16章为总结与展望，给出了深度学习发展的历史图、前沿方向及进展。《深度学习、优化与识别》每章都附有相关阅读材料及仿真代码，以便有兴趣的读者进一步钻研探索。

《深度学习、优化与识别》可为高等院校计算机科学、电子科学与技术、信息科学、控制科学与工程、人工智能等领域的研究人员提供参考，以及作为相关专业本科生及研究生教学参考书，同时可供深度学习及其应用感兴趣的研究人员和工程技术人员参考。

焦李成，男，汉族，1959年10月生，1992年起任西安电子科技大学教授。现任智能感知与计算国际联合研究中心主任、智能感知与图像理解教育部重点实验室主任、智能感知与计算国际合作联合实验室主任、“智能信息处理科学与技术”高等学校学科创新引智基地（“111计划”）主任、教育部科技委国际合作部学部委员、中国人工智能学会副理事长、IET西安分会主席、IEEE西安分会奖励委员会主席、IEEE计算智能协会西安分会主席、IEEEGRSS西安分会主席，IEEETGRS副主编、教育部创新团队首席专家。国务院学位委员会学科评议组成员、教育部本科教学水平评估专家。1991年被批准为享受国务院政府津贴的专家，1996年首批入选国家“百千万”人才工程。当选为全国模范教师、陕西省师德标兵和曾任第八届全国人大代表。

焦李成教授的主要研究方向为智能感知与计算、图像理解与目标识别、深度学习与类脑计算，培养的十余名博士获全国优秀博士学位论文奖、提名奖及陕西省优秀博士论文奖。研究成果获包括国家自然科学奖二等奖及省部级一等奖以上科技奖励十余项，出版学术专著十余部，五次获国家优秀科技图书奖励及全国首届三个一百优秀图书奖。所发表的论著被他人引用超过25000余篇次，H指数为65。

目录

第1章深度学习基础

1.1数学基础

1.1.1矩阵论

1.1.2概率论

1.1.3优化分析

1.1.4框架分析

1.2稀疏表示

1.2.1稀疏表示初步

1.2.2稀疏模型

1.2.3稀疏认知学习、计算与识别的范式

1.3机器学习与神经网络

1.3.1机器学习

1.3.2神经网络

参考文献

第2章深度前馈神经网络

2.1神经元的生物机理

2.1.1生物机理

2.1.2单隐层前馈神经网络

2.2多隐层前馈神经网络

2.3反向传播算法

2.4深度前馈神经网络的学习范式

参考文献

第3章深度卷积神经网络

3.1卷积神经网络的生物机理及数学刻画

3.1.1生物机理

3.1.2卷积流的数学刻画

3.2深度卷积神经网络

3.2.1典型网络模型与框架

3.2.2学习算法及训练策略

3.2.3模型的优缺点分析

3.3深度反卷积神经网络

3.3.1卷积稀疏编码

3.3.2深度反卷积神经网络

3.3.3网络模型的性能分析与应用举例

3.4全卷积神经网络

3.4.1网络模型的数学刻画

3.4.2网络模型的性能分析及应用举例

参考文献

第4章深度堆栈自编码网络

4.1自编码网络

4.1.1逐层学习策略

4.1.2自编码网络

4.1.3自编码网络的常见范式

4.2深度堆栈网络

4.3深度置信网络/深度玻尔兹曼机网络

4.3.1玻尔兹曼机/受限玻尔兹曼机

4.3.2深度玻尔兹曼机/深度置信网络

参考文献

第5章稀疏深度神经网络

5.1稀疏性的生物机理

5.1.1生物视觉机理

5.1.2稀疏性响应与数学物理描述

5.2稀疏深度网络模型及基本性质

5.2.1数据的稀疏性

5.2.2稀疏正则

5.2.3稀疏连接

5.2.4稀疏分类器设计

5.2.5深度学习中关于稀疏的技巧与策略

5.3网络模型的性能分析

5.3.1稀疏性对深度学习的影响

5.3.2对比试验及结果分析

参考文献

第6章深度融合网络

6.1深度SVM网络

6.1.1从神经网络到SVM

6.1.2网络模型的结构

6.1.3训练技巧

6.2深度PCA网络

6.3深度ADMM网络

6.4深度极限学习机

6.4.1极限学习机

6.4.2深度极限学习机

6.5深度多尺度几何网络

6.5.1深度脊波网络

6.5.2深度轮廓波网络

6.6深度森林

6.6.1多分辨特性融合

6.6.2级联特征深度处理

参考文献

第7章深度生成网络

7.1生成式对抗网络的基本原理

7.1.1网络模型的动机

7.1.2网络模型的数学物理描述

7.2深度卷积对抗生成网络

7.2.1网络模型的基本结构

7.2.2网络模型的性能分析

7.2.3网络模型的典型应用

7.3深度生成网络模型的新范式

7.3.1生成式对抗网络的新范式

7.3.2网络框架的性能分析与改进

7.4应用驱动下的两种新生成式对抗网络

7.4.1堆栈生成式对抗网络

7.4.2对偶学习范式下的生成式对抗网络

7.5变分自编码器

参考文献

第8章深度复卷积神经网络与深度二值神经网络

8.1深度复卷积神经网络

8.1.1网络模型构造的动机

8.1.2网络模型的数学物理描述

8.2深度二值神经网络

8.2.1网络基本结构

8.2.2网络的数学物理描述

8.2.3讨论

参考文献

第9章深度循环和递归神经网络

9.1深度循环神经网络

9.1.1循环神经网络的生物机理

9.1.2简单的循环神经网络

9.1.3深度循环神经网络的数学物理描述

9.2深度递归神经网络

9.2.1简单的递归神经网络

9.2.2深度递归神经网络的优势

9.3长短时记忆神经网络

9.3.1改进动机分析

9.3.2长短时记忆神经网络的数学分析

9.4典型应用

9.4.1深度循环神经网络的应用举例

9.4.2深度递归神经网络的应用举例

参考文献

第10章深度强化学习

10.1深度强化学习简介

10.1.1深度强化学习的基本思路

10.1.2发展历程

10.1.3应用新方向

10.2深度Q网络

10.2.1网络基本模型与框架

10.2.2深度Q网络的数学分析

10.3应用举例——AlphaGo

10.3.1AlphaGo原理分析

10.3.2深度强化学习性能分析

参考文献

第11章深度学习软件仿真平台及开发环境

11.1Caffe平台

11.1.1Caffe平台开发环境

11.1.2AlexNet神经网络学习

11.1.3AlexNet神经网络应用于图像分类

11.2TensorFlow平台

11.2.1TensorFlow平台开发环境

11.2.2深度卷积生成式对抗网DCGAN

11.2.3DAN应用于样本扩充

11.3MXNet平台

11.3.1MXNet平台开发环境

11.3.2VGGNET深度神经网络学习

11.3.3图像分类应用任务

11.4Torch 7平台

11.4.1Torch 7平台开发环境

11.4.2二值神经网络

11.4.3二值神经网络应用于图像分类

11.5Theano平台

11.5.1Theano平台开发环境

11.5.2递归神经网络

11.5.3LSTM应用于情感分类任务

参考文献

第12章基于深度神经网络的SAR/PolSAR影像地物分类

12.1数据集及研究目的

12.1.1数据集特性分析

12.1.2基本数据集

12.1.3研究目的

12.2基于深度神经网络的SAR影像地物分类

12.2.1基于自适应自编码和超像素的SAR图像分类

12.2.2基于卷积中层特征学习的SAR图像分类

12.3基于第一代深度神经网络的PolSAR影像地物分类

12.3.1基于稀疏极化DBN的极化SAR地物分类

12.3.2基于深度PCA网络的极化SAR影像地物分类

12.4基于第二代深度神经网络的PolSAR影像地物分类

12.4.1基于深度复卷积网络的PolSAR影像地物分类

12.4.2基于生成式对抗网的PolSAR影像地物分类

12.4.3基于深度残差网络的PolSAR影像地物分类

参考文献

第13章基于深度神经网络的SAR影像的变化检测

13.1数据集特点及研究目的

13.1.1研究目的

13.1.2数据基本特性

13.1.3典型数据集

13.2基于深度学习和SIFT特征的SAR图像变化检测

13.2.1基本方法与实现策略

13.2.2对比试验结果分析

13.3基于SAE的SAR图像变化检测

13.3.1基本方法与实现策略

13.3.2实验结果和分析

13.4基于CNN的SAR图像变化检测

13.4.1基本方法与实现策略

13.4.2对比试验结果分析

参考文献

第14章基于深度神经网络的高光谱图像分类与压缩

14.1数据集及研究目的

14.1.1高光谱遥感技术

14.1.2高光谱遥感的研究目的

14.1.3常用的高光谱数据集

14.2基于深度神经网络的高光谱影像的分类

14.2.1基于堆栈自编码的高光谱影像的分类

14.2.2基于卷积神经网络的高光谱影像的分类

14.3基于深度神经网络的高光谱影像的压缩

14.3.1基于深度自编码网络的高光谱图像压缩方法

14.3.2实验设计及分类结果

参考文献

第15章基于深度神经网络的目标检测与识别

15.1数据特性及研究目的

15.1.1研究目的

15.1.2常用数据集

15.2基于快速CNN的目标检测与识别

15.2.1RCNN

15.2.2Fast RCNN

15.2.3Faster RCNN

15.2.4对比实验结果与分析

15.3基于回归学习的目标检测与识别

15.3.1YOLO

15.3.2SSD

15.3.3对比实验结果与分析

15.4基于学习搜索的目标检测与识别

15.4.1基于深度学习的主动目标定位

15.4.2AttentionNet

15.4.3对比实验结果与分析

参考文献

第16章总结与展望

16.1深度学习发展历史图

16.1.1从机器学习、稀疏表示学习到深度学习

16.1.2深度学习、计算与认知的范式演进

16.1.3深度学习形成脉络

16.2深度学习的应用介绍

16.2.1目标检测与识别

16.2.2超分辨

16.2.3自然语言处理

16.3深度神经网络的可塑性

16.3.1旋转不变性

16.3.2平移不变性

16.3.3多尺度、多分辨和多通路特性

16.3.4稀疏性

16.4基于脑启发式的深度学习前沿方向

16.4.1生物神经领域关于认知、识别、注意等的最新研究进展

16.4.2深度神经网络的进一步研究方向

16.4.3深度学习的可拓展性

参考文献

附录A基于深度学习的常见任务处理介绍

附录B代码介绍

序

从1308年加泰罗尼亚诗人、神学家雷蒙·卢尔(Ramon Llull)发表了有关用机械方法从一系列现象中创造新知识的论文开始，到1943年美国心理学家W.S. McCulloch和数学家W.Pitts提出MP模型及1950年A.Turing提出著名的图灵测试，再到1956年达特茅斯会议上人工智能的诞生，神经网络几经沉浮，走过了艰难曲折的历程； 2006年从单隐层神经网络到深度神经网络模型，迎来了神经网络发展的又一高潮，深度学习及其应用受到了前所未有的重视与关注，世界迎来又一轮人工智能变革的高潮，从谷歌脑到中国脑科学计划，再到互联网+和中国人工智能2.0，人工智能及深度学习也首次写进了2017年全国人民代表大会第十五次会议国务院政府工作报告。深度学习是人工智能及机器学习的一个重要方向，在未来，它将会不断出现激动人心的理论进展和方法实践，深刻影响我们生活的方方面面。

随着研究的不断深入，深度学习已经超越了目前机器学习模型的神经科学观点，学习多层次组合的这一设计原则更加吸引人。从第一代的深度前馈神经网络开始，随之而来的就有如下三个问题： 一是可用训练数据量远小于模型中的参数量，容易出现过(欠)拟合现象； 二是随着层级的增加，模型的优化目标函数呈现高度非凸性，由于待优化参数所在的可行域中存在着大量的鞍点和局部极小值点，所以参数初始化策略影响着网络模型的稳定性和收敛性； 三是基于误差的反向传播算法越靠近输出层变化越大，越靠近输入层变化越小，这对通过梯度下降方式来实现逐层参数更新会导致梯度弥散现象。为了解决第一个问题便提出了深度卷积神经网络和深度循环神经网络，其核心均是通过约减参数量间接提升数据量的方式降低过拟合现象的发生； 针对第二个问题和第三个问题便引入了基于自编码器的逐层初始化策略，以期获取的初始化参数能够避免过早地陷入局部最优，同时弱化或克服梯度弥散现象，例如基于受限波尔兹曼机的深度置信网络。进一步，基于传统的机器学习算法来实现参数初始化方向上涌现了如深度PCA网络、深度ICA网络、深度SVM网络、深度森林(随机森林多层级联)、深度极限学习机和深度ADMM网络等模型。同时与之类似的，通过更改非线性函数以换取模型“扭曲”能力的提升，产生了如深度小波网络、深度脊波网络和深度轮廓波网络等模型。根据其特性，我们称这些网络为深度融合网络。2014年以来，大量的研究文献表明层级“深度”的不断增加，或导致性能显著提升(如深度残差网络、深度分形网络)，抑或导致性能严重下降(本质上是参数量远大于训练数据量)。为了解决该问题，一方面通过多通路、并行化的网络设计来削弱“深度”对性能的依赖性，同时塔式结构、对称性等也被融入网络的设计过程中； 另一方面，深度生成模型也悄然兴起，其核心是通过生成训练数据集的概率密度函数来实现数据的扩充，其代表便是生成式对抗网络和变分自编码器。值得注意的是，与传统的深度学习设计“单网络”不同，生成式对抗网络采用了“两个子网络”来实现非合作状态下的博弈，在最小最大值定理的保证下，理论上可以保证网络的收敛性。除了模型结构和优化策略改进外，应用问题背景也不再是经典的输入输出“单数据对”刻画，而是从状态到行动“整体性”刻画。众所周知，感知、认知和决策是衡量智能化的标准，充分发挥深度学习的感知能力和强化学习的决策能力，形成的深度强化学习已在众多应用问题上取得突破，如无人驾驶、计算机围棋程序和智能机器人等。在后深度学习时代，其核心在于生成数据、环境交互和领域迁移，对应着深度生成网络、深度强化学习和深度迁移学习将继续成为人工智能领域的研究热点。另外，根据数据的属性和操作的有效性，衍生的网络包括深度复数域神经网络(如深度复卷积神经网络)、深度二值神经网络和深度脉冲神经网络等。

我们依托智能感知与图像理解教育部重点实验室、智能感知与计算国际联合实验室及智能感知与计算国际联合研究中心于2014年成立了类脑计算与深度学习研究中心，致力于类脑计算与深度学习的基础与应用研究，搭建了多个深度学习应用平台，并在深度学习理论、应用及实现等方面取得了突破性的进展，本书即是我们在该领域研究工作的初步总结。

本书的完成离不开团队多位老师和研究生的支持与帮助，感谢团队中侯彪、刘静、公茂果、王爽、张向荣、吴建设、缑水平、尚荣华、刘波、刘若辰等教授以及马晶晶、马文萍、白静、朱虎明、田小林、张小华、曹向海等副教授对本工作的关心支持与辛勤付出。感谢王蓉芳博士、冯捷博士、张丹老师，以及唐旭、刘芳、谢雯、任博、魏野、王善峰、冯志玺等博士生在学术交流过程中无私的付出与生活上的关心。同时，特别感谢赵佳琦、刘旭、赵暐、朱浩、孙其功、任仲乐、李娟飞、张雅科、宋玮、张文华等博士生，以及马丽媛、杨争艳、张婷、李晰、孟繁荣、汶茂宁、侯瑶琪、孙莹莹、张佳琪、杨慧、王美玲等研究生在写作过程中无私付出的辛勤劳动与努力。感谢宋玮、张文华等博士生帮忙校勘时发现了许多笔误。

本书是我们团队在该领域工作的一个小结，也汇聚了西安电子科技大学智能感知与图像理解教育部重点实验室、智能感知与计算国际联合实验室及智能感知与计算国际联合研究中心的集体智慧。在本书出版之际，特别感谢邱关源先生及保铮院士三十多年来的悉心培养与教导，特别感谢徐宗本院士、张钹院士、李衍达院士、郭爱克院士、郑南宁院士、谭铁牛院士、马远良院士、包为民院士、郝跃院士、陈国良院士、韩崇昭教授，IEEE Fellows管晓宏教授、张青富教授、张军教授、姚新教授、刘德荣教授、金耀初教授、周志华教授、李学龙教授、吴枫教授、田捷教授、屈嵘教授、李军教授和张艳宁教授，以及马西奎教授、潘泉教授、高新波教授、石光明教授、李小平教授、陈莉教授、王磊教授等多年来的关怀、帮助与指导，感谢教育部创新团队和国家“111”创新引智基地的支持； 同时，我们的工作也得到西安电子科技大学领导及国家“973”计划(2013CB329402)、国家自然科学基金(61573267，61472306，61671305，61573267，61473215，61571342，61572383，61501353，61502369，61271302，61272282，61202176)、重大专项计划(91438201，91438103)等科研任务的支持，特此感谢。同时特别感谢清华大学出版社的大力支持和帮助，感谢王芳老师和薛阳老师

付出的辛勤劳动与努力。感谢书中所有被引用文献的作者。

20世纪90年代初我们出版了《神经网络系统理论》《神经网络计算》《神经网络的应用与实现》等系列专著，三十年来神经网络取得了长足的进展，本书的取材和安排完全是作者的偏好，由于水平有限，书中不妥之处恳请广大读者批评指正。

著者

2017年3月

西安电子科技大学