解析深度学习:卷积神经网络原理与视觉实践

《解析深度学习：卷积神经网络原理与视觉实践》是对治深度学习恐惧症的一剂良药。作者魏秀参博士，毕业于著名的南京大学LAMDA研究所，现为旷视科技南京研究院负责人。本书凝聚了他多年的功力，集原理与实践于一体，将卷积神经网络这颗仙丹炼得出神入化，以此攻克计算机视觉实践中的一个又一个难题。

全书没有佶屈聱牙的文字、没有艰涩难懂的术语，只有明明白白的道理、由浅入深的论证、清晰流畅的架构。在内容的安排上，兼顾了基础知识和学习难点，各有侧重，让初学者不仅可以看明白、而且能够读懂，知其所以然并举一反三运用到自己的工程实践中。

无怪乎，业内专家认为“本书可能是我知道的“醉”好的深度学习的中文入门教材”。

深度学习，特别是深度卷积神经网络是人工智能的重要分支领域，卷积神经网络技术也被广泛应用于各种现实场景，在许多问题上都取得了超过人类智能的结果。本书作为该领域的入门书籍，在内容上涵盖深度卷积神经网络的基础知识 和实践应用两大方面。《解析深度学习：卷积神经网络原理与视觉实践》共14 章，分为三个部分：第一部分为绪论；第二部分 （第1～4 章）介绍卷积神经网络的基础知识、基本部件、经典结构和模型压缩等基 础理论内容；第三部分（第5～14 章）介绍深度卷积神经网络自数据准备开始，到 模型参数初始化、不同网络部件的选择、网络配置、网络模型训练、不平衡数据处 理，最终到模型集成等实践应用技巧和经验。《解析深度学习：卷积神经网络原理与视觉实践》并不是一本编程类书籍，而是希望通过“基础知识”和“实践技巧”两方面使读者从更高维度了解、掌握并成功构 建针对自身应用问题的深度卷积神经网络。

《解析深度学习：卷积神经网络原理与视觉实践》可作为深度学习和卷积神经网络爱好者的入门书籍，也可供没有机器学习 背景但希望能快速掌握该方面知识并将其应用于实际问题的各行从业者阅读参考。

魏秀参

旷视科技（Face++）南京研究院负责人。南京大学LAMDA研究所博士，主要研究领域为计算机视觉和机器学习。在相关领域重要国际期刊和国际会议发表论文十余篇，并两次获得国际计算机视觉相关竞赛冠、亚军。曾获CVPR 2017佳审稿人、南京大学博士生校长特别奖学金等荣誉，担任ICCV、CVPR、ECCV、NIPS、IJCAI、AAAI等国际会议PC member。（个人自媒体：知乎“魏秀参”，新浪微博“Wilson_NJUer”）

推荐序

卷积神经网络乃机器学习领域中深度学习技术至著名内容之一。魏秀参博士在LAMDA 求学数年，对卷积神经网络及其视觉应用颇有所长，博士未毕业即被旷视科技聘为南京研究院负责人，毕业之际将心得材料转撰成书请愚致序。师生之谊，盛情难却。

在国内计算机领域，写书乃吃力不讨好之事。且不论写一本耐读、令读者每阅皆有所获之书何等不易，更不消说众口难调出一本令各型读者皆赞之书何等无望，仅认真写书所耗时间精力之巨、提职时不若期刊论文之效、收入不比同等精力兼差打工之得，已令人生畏，何况稍有不慎就有误人子弟之嫌，令一线学者若不狠心苛己，实难着手。

然有志求学本领域之士渐增，母语优良读物之不足实碍科学技术乃至产业发展。毕竟未必众人皆惯阅外文书籍，亦未必尽能体会外文微妙表达变化之蕴义，更不消说母语阅读对新入行者之轻快适意。愚曾自认四十不惑前学力不足立著，但国内科研水准日新月异，青年才俊茁然成长，以旺盛之精力分享所学，诚堪嘉勉。

市面上深度学习书籍已不少，但专门针对卷积神经网络展开，侧重实践又不失论释者尚不多见。本书基本覆盖了卷积神经网络实践所涉之环节，作者交代的若干心得技巧亦可一观，读者在实践中或有见益。望本书之出版能有助于读者更好地了解和掌握卷积神经网络，进一步促进深度学习技术之推广。

周志华

2018 年10 月于南京

卷积神经网络作为至先落地的深度学习技术之一，已经被应用于手机、安防、自动驾驶等多个领域。本书作者结合在知名研究机构和独角兽人工智能企业的研发经历，向读者展现了深度学习特别是卷积神经网络方面从数据、模型到系统的全栈式开发过程和技巧。

——刘国清，MINIEYE CEO

记得很早之前就看过魏博士的Tricks in Deep Neural Networks，受到了不少的启发，让我个人在实际应用中对深度学习的处理手段和思路变得更加的多样和灵活。魏博士也非常活跃，乐于在社区和论坛分享他的知识，这点非常值得大家学习。本书汇聚了魏博士对深度学习在视觉实践上的理解。

无论你是已经身处工业界的工程师还是在校的研究生，只要在做深度学习、卷积神经网络和视觉应用，本书都非常值得一读。

——罗韵，深圳极视角科技有限公司技术合伙人

过去6 年左右时间，深度学习不但改变了人工智能、统计机器学习的整个科学研究的面貌，并且成功地在工业界产生很多颠覆性的应用。本书作为深度学习的入门教材, 在内容上涵盖了深度学习基础的方方面面：从基本概念一直到训练模型的技巧。可贵的是，本书成功地把深度学习的相关数学概念解释得通俗易懂。本书可能是我知道的至好的深度学习的中文入门教材。

——沈春华，澳大利亚阿德莱德大学计算机科学学院终身教授

深度学习是当下至流行、效果至好的机器学习方法之一，它将当前的很多感知算法（如计算机视觉、语音识别等）的效果提升了一大截，从而也催生了一大批新的人工智能产业应用落地。本书以深度学习中应用至广泛的卷积神经网络为对象，以计算机视觉作为应用案例，是一本非常实用的起步教程。

——唐文斌，旷视科技联合创始人兼CTO

秀参的这本《解析深度学习：卷积神经网络原理与视觉实践》从卷积神经网络的基础知识入手，搭配上计算机视觉领域的实操技巧，内容翔实、语言精炼、理论结合实践，不仅适合深度学习领域刚入门的读者参考学习，同时也可供相关领域从业工作者作为使用手册常伴左右。

——吴甘沙，驭势科技CEO、联合创始人

如果要问用于图像理解任务什么模型至好，回答十有八九是深度神经网络。市面上神经网络、深度学习的书籍多关注神经网络的原理介绍，但是对于初学者而言，更多的时候可能是头痛于深度网络实践中面临的种种“坑”，即容易被忽略却时常起到关键作用的技巧。本书不仅有通俗易懂的相关原理介绍，还可以说是作者的“趟坑”经验总结，对于初学者是难得的上手宝典。

——俞扬，南京大学副教授、全球AI’s 10 to Watch

第一部分绪论1

0.1 引言 . 2

0.2 什么是深度学习 3

0.3 深度学习的前世今生 . 6

第二部分基础理论篇9

1 卷积神经网络基础知识10

1.1 发展历程 11

1.2 基本结构 13

1.3 前馈运算 16

1.4 反馈运算 16

1.5 小结 . 19

2 卷积神经网络基本部件21

2.1 “端到端”思想 21

2.2 网络符号定义 . 23

2.3 卷积层 . 24

2.3.1 什么是卷积 24

2.3.2 卷积操作的作用 27

2.4 汇合层 . 28

2.4.1 什么是汇合 29

2.4.2 汇合操作的作用 30

2.5 激活函数 31

2.6 全连接层 33

2.7 目标函数 34

2.8 小结 . 34

3 卷积神经网络经典结构35

3.1 CNN 网络结构中的重要概念 . 35

3.1.1 感受野 . 35

3.1.2 分布式表示 37

3.1.3 深度特征的层次性 39

3.2 经典网络案例分析 . 42

3.2.1 Alex-Net 网络模型 . 42

3.2.2 VGG-Nets 网络模型 46

3.2.3 Network-In-Network 48

3.2.4 残差网络模型 . 49

3.3 小结 . 54

4 卷积神经网络的压缩56

4.1 低秩近似 58

4.2 剪枝与稀疏约束 60

4.3 参数量化 64

4.4 二值网络 68

4.5 知识蒸馏 71

4.6 紧凑的网络结构 74

4.7 小结 . 76

第三部分实践应用篇77

5 数据扩充78

5.1 简单的数据扩充方式 . 78

5.2 特殊的数据扩充方式 . 80

5.2.1 Fancy PCA . 80

5.2.2 监督式数据扩充 80

5.3 小结 . 82

6 数据预处理83

7 网络参数初始化85

7.1 全零初始化 . 86

7.2 随机初始化 . 86

7.3 其他初始化方法 90

7.4 小结 . 90

8 激活函数91

8.1 Sigmoid 型函数 . 92

8.2 tanh(x) 型函数 . 93

8.3 修正线性单元（ReLU） 93

8.4 Leaky ReLU . 94

8.5 参数化ReLU 95

8.6 随机化ReLU 97

8.7 指数化线性单元（ELU） . 98

8.8 小结 . 99

9 目标函数100

9.1 分类任务的目标函数 . 100

9.1.1 交叉熵损失函数 101

9.1.2 合页损失函数 . 101

9.1.3 坡道损失函数 . 101

9.1.4 大间隔交叉熵损失函数 103

9.1.5 中心损失函数 . 105

9.2 回归任务的目标函数 . 107

9.2.1 ℓ1 损失函数 108

9.2.2 ℓ2 损失函数 108

9.2.3 Tukey’s biweight 损失函数 109

9.3 其他任务的目标函数 . 109

9.4 小结 . 111

10 网络正则化113

10.1 ℓ2 正则化 114

10.2 ℓ1 正则化 115

10.3 最大范数约束 . 115

10.4 随机失活 116

10.5 验证集的使用 . 118

10.6 小结 . 119

11 超参数设定和网络训练120

11.1 网络超参数设定 120

11.1.1 输入数据像素大小 120

11.1.2 卷积层参数的设定 121

11.1.3 汇合层参数的设定 122

11.2 训练技巧 123

11.2.1 训练数据随机打乱 123

11.2.2 学习率的设定 . 123

11.2.3 批规范化操作 . 125

11.2.4 网络模型优化算法选择 127

11.2.5 微调神经网络 . 132

11.3 小结 . 133

12 不平衡样本的处理135

12.1 数据层面处理方法 . 136

12.1.1 数据重采样 136

12.1.2 类别平衡采样 . 137

12.2 算法层面处理方法 . 138

12.2.1 代价敏感方法 . 139

12.2.2 代价敏感法中权重的指定方式 140

12.3 小结 . 142

13 模型集成方法143

13.1 数据层面的集成方法 . 143

13.1.1 测试阶段数据扩充 143

13.1.2 “简易集成”法 144

13.2 模型层面的集成方法 . 144

13.2.1 单模型集成 144

13.2.2 多模型集成 146

13.3 小结 . 149

14 深度学习开源工具简介151

14.1 常用框架对比 . 151

14.2 常用框架的各自特点 . 153

14.2.1 Caffe 153

14.2.2 Deeplearning4j . 153

14.2.3 Keras 154

14.2.4 MXNet . 155

14.2.5 MatConvNet 155

14.2.6 TensorFlow . 155

14.2.7 Theano . 156

14.2.8 Torch 157

A 向量、矩阵及其基本运算158

B 随机梯度下降162

C 链式法则165

参考文献167

索引181

人工智能，一个听起来熟悉但却始终让人备感陌生的词汇。让人熟悉的是科幻作家艾萨克·阿西莫夫笔下的《机械公敌》和《机器管家》，令人陌生的却是到底如何让现有的机器人咿呀学语、邯郸学步；让人熟悉的是计算机科学与人工智能之父图灵设想的“图灵测试”，令人陌生的却是如何使如此的高级智能在现实生活中不再子虚乌有；让人熟悉的是2016 年初阿尔法狗与李世乭在围棋上的五番对决，令人陌生的却是阿尔法狗究竟是如何打通了“任督二脉”的……不可否认，人工智能就是人类为了满足自身强大好奇心而脑洞大开的产物。现在提及人工智能，就不得不提阿尔法狗，提起阿尔法狗就不得不提到深度学习。那么，深度学习究竟为何物？

本书从实用角度着重解析了深度学习中的一类神经网络模型——卷积神经网络，向读者剖析了卷积神经网络的基本部件与工作机理，更重要的是系统性地介绍了深度卷积神经网络在实践应用方面的细节配置与工程经验。

笔者希望本书“小而精”，避免像某些国外相关教材一样浅尝辄止的“大而空”。

写作本书的主因源自笔者曾于2015 年10 月在个人主页（http://lamda.nju.edu.cn/weixs）上开放的一个深度学习的英文学习资料“深度神经网络之必会技巧”（Must Know Tips/Tricks in Deep Neural Networks）。该资料随后被转帖至新浪微博，受到不少学术界和工业界朋友的好评，至今已有逾36 万的阅读量，后又被国际知名论坛KDnuggets 和Data Science Central 特邀转载。在此期间，笔者频繁接收到国内外读过此学习资料的朋友微博私信或邮件来信表示感谢，其中多人提到希望开放一个中文版本以方便国人阅读学习。另一方面，随着深度学习领域发展的日新月异，当时总结整理的学习资料现在看来已略显滞后，不少最新研究成果并未涵盖其中，同时加上国内至今尚没有一本侧重实践的深度学习方面的中文书籍。因此，笔者笔耕不辍，希望将自己些许的所学所知所得所感及所悟汇总于本书中，分享给大家学习和查阅。

这是一本面向中文读者的轻量级、偏实用的深度学习工具书，本书内容侧重深度卷积神经网络的基础知识和实践应用。为了使尽可能多的读者通过本书对卷积神经网络和深度学习有所了解，笔者试图尽可能少地使用晦涩的数学公式，而尽可能多地使用具体的图表形象表达。本书的读者对象为对卷积神经网络和深度学习感兴趣的入门者，以及没有机器学习背景但希望能快速掌握该方面知识并将其应用于实际问题的各行从业者。为方便读者阅读，本书附录给出了一些相关数学基础知识简介。

全书共有14 章，除“绪论”外可分为两个部分：第一部分“基础理论篇”包括第1～4 章，介绍卷积神经网络的基础知识、基本部件、经典结构和模型压缩等基础理论内容；第二部分“实践应用篇”包括第5～14 章，介绍深度卷积神经网络自数据准备开始，到模型参数初始化、不同网络部件的选择、网络配置、网络模型训练、不平衡数据处理，最终到模型集成等实践应用技巧和经验。另外，本书基本在每章结束均有对应小结，读者在阅读完每章内容后不妨掩卷回忆，看是否完全掌握了此章重点。对卷积神经网络和深度学习感兴趣的读者可通读全书，做到“理论结合实践”；对希望迅速应用深度卷积神经网络来解决实际问题的读者，也可直接参考第二部分的有关内容，做到“有的放矢”。

笔者在本书写作过程中得到很多同学和学术界、工业界朋友的支持与帮助，在此谨列出他们的姓名以致谢意（按姓氏拼音序）：高斌斌、高如如、罗建豪、屈伟洋、谢晨伟、杨世才、张晨麟等。感谢高斌斌和罗建豪帮助起草本书第3.2.4节和第4章的有关内容。此外，特别感谢南京大学周志华教授、吴建鑫教授和澳大利亚阿德莱德大学沈春华教授等众多师长在笔者求学科研过程中不厌其烦细致入微的指导、教育和关怀。同时，感谢电子工业出版社的刘皎老师为本书出版所做的努力。最后非常感谢笔者的父母，感谢他们的养育和一直以来的理解、体贴与照顾。写就本书，笔者自认才疏学浅，仅略知皮毛，更兼时间和精力有限，书中错谬之处在所难免，若蒙读者不弃，还望不吝赐教，笔者将不胜感激！

魏秀参