深入理解TensorFlow 架构设计与实现原理

才云科技技术总监、华为深度学习团队系统工程师、华为深度学习云服务的技术负责人联合编写

中国科学院计算技术研究所副研究员/中国大数据技术大会（BDTC）发起人查礼、教育部“长江学者”特聘教授/浙江大学计算机学院院长陈刚作序推荐

才云科技创始人兼CEO张鑫、Google Brain资深工程师周玥枫、华为人工智能领域主任工程师夏命榛、云账户联合创始人兼CTO邹永强、博拉科技创始人兼CEO周公爽、微软亚洲研究院助理研究员王锦鹏、才云科技顾问郑泽宇联合推荐

不仅介绍如何使用TensorFlow，还剖析了系统设计原理

本书从基本概念、内部实现和实践等方面深入剖析了TensorFlow。书中首先介绍了TensorFlow设计目标、基本架构、环境准备和基础概念，接着重点介绍了以数据流图为核心的机器学习编程框架的设计原则与核心实现，紧接着还将TensorFlow与深度学习相结合，从理论基础和程序实现这两个方面系统介绍了CNN、GAN和RNN等经典模型，然后深入剖析了TensorFlow运行时核心、通信原理和数据流图计算的原理与实现，全面介绍了TensorFlow生态系统的发展。

彭靖田，才云科技技术总监，谷歌机器学习开发专家（ML GDE），Kubeflow Core Maintainer，TensorFlow Contributor，曾一度成为TensorFlow社区全球前40的贡献者。加州大学圣迭戈分校访问学者，毕业于浙江大学竺可桢学院求是科学班。曾为华为深度学习团队核心成员，主要参与华为深度学习平台的设计和研发工作。

林健，华为深度学习团队系统工程师。在中科院计算所取得博士学位，并在美国俄亥俄州立大学做过博士后研究。长期从事系统软件研发，工作涉及高性能计算与分布式系统，爱好开源软件与人工智能。曾参与开发CNGrid GOS、MVAPICH等工业级软件，并合作创建LingCloud、DataMPI等开源项目。

白小龙，华为公司深度学习云服务的技术负责人，主要负责深度学习平台、模型和算法的研发。长期从事信号、图像处理和机器学习研究，于2015年6月毕业于浙江大学并取得工学博士学位，曾获教育部博士生学术新人奖。

第 一部分基础篇

第1章 TensorFlow系统概述2

1.1简介2

1.1.1产生背景2

1.1.2独特价值3

1.1.3版本变迁4

1.1.4与其他主流深度学习框架的对比6

1.2设计目标7

1.2.1灵活通用的深度学习库8

1.2.2端云结合的人工智能引擎9

1.2.3高性能的基础平台软件10

1.3基本架构12

1.3.1工作形态12

1.3.2组件结构13

1.4小结14

第2章 TensorFlow环境准备15

2.1安装15

2.1.1TensorFlow安装概述15

2.1.2使用Anaconda安装17

2.1.3使用原生pip安装17

2.1.4使用virtualenv安装18

2.1.5使用Docker安装19

2.1.6使用源代码编译安装20

2.1.7Hello TensorFlow22

2.2依赖项23

2.2.1Bazel软件构建工具24

2.2.2Protocol Buffers数据结构序列化工具25

2.2.3Eigen线性代数计算库27

2.2.4CUDA统一计算设备架构28

2.3源代码结构29

2.3.1根目录29

2.3.2tensorflow目录30

2.3.3tensorflow/core目录31

2.3.4tensorflow/python目录32

2.3.5安装目录33

2.4小结33

第3章TensorFlow基础概念34

3.1编程范式：数据流图34

3.1.1声明式编程与命令式编程34

3.1.2声明式编程在深度学习应用上的优势35

3.1.3TensorFlow数据流图的基本概念38

3.2数据载体：张量40

3.2.1张量：Tensor40

3.2.2稀疏张量：SparseTensor44

3.3模型载体：操作46

3.3.1计算节点：Operation46

3.3.2存储节点：Variable49

3.3.3数据节点：Placeholder53

3.4运行环境：会话55

3.4.1普通会话：Session55

3.4.2交互式会话：InteractiveSession59

3.4.3扩展阅读：会话实现原理59

3.5训练工具：优化器61

3.5.1损失函数与优化算法61

3.5.2优化器概述64

3.5.3使用minimize方法训练模型66

3.5.4扩展阅读：模型训练方法进阶68

3.6一元线性回归模型的最佳实践72

3.7小结76

第二部分关键模块篇

第4章TensorFlow数据处理方法78

4.1输入数据集78

4.1.1使用输入流水线并行读取数据78

4.1.2创建批样例数据的方法86

4.1.3填充数据节点的方法87

4.1.4处理CIFAR-10数据集的最佳实践88

4.1.5扩展阅读：MNIST数据集91

4.2模型参数92

4.2.1模型参数的典型使用流程92

4.2.2使用tf.Variable创建、初始化和更新模型参数92

4.2.3使用tf.train.Saver保存和恢复模型参数98

4.2.4使用变量作用域处理复杂模型100

4.3命令行参数103

4.3.1使用argparse解析命令行参数103

4.3.2使用tf.app.flags解析命令行参数108

4.4小结111

第5章TensorFlow编程框架112

5.1单机程序编程框架112

5.1.1概述112

5.1.2创建单机数据流图114

5.1.3创建并运行单机会话116

5.2分布式程序编程框架118

5.2.1PS-worker架构概述118

5.2.2分布式程序编程框架概述120

5.2.3创建TensorFlow集群121

5.2.4将操作放置到目标设备124

5.2.5数据并行模式124

5.2.6同步训练机制125

5.2.7异步训练机制130

5.2.8使用Supervisor管理模型训练131

5.2.9分布式同步训练的最佳实践133

5.3小结137

第6章TensorBoard可视化工具138

6.1概述138

6.2可视化数据流图142

6.2.1名字作用域与抽象节点142

6.2.2可视化数据流图的最佳实践144

6.2.3扩展阅读：汇总数据和事件数据145

6.2.4扩展阅读：揭秘tf.summary.FileWriter工作原理147

6.3可视化学习过程149

6.3.1汇总操作概述149

6.3.2使用tf.summary.scalar生成折线图150

6.3.3使用tf.summary.histogram生成数据分布图152

6.3.4使用tf.summary.image生成图像154

6.3.5使用tf.summary.audio生成音频155

6.3.6可视化MNIST softmax模型学习过程的最佳实践156

6.4可视化高维数据158

6.4.1使用TensorBoard可视化高维数据158

6.4.2可视化MNIST数据集的最佳实践160

6.5小结163

第7章模型托管工具：TensorFlow Serving164

7.1概述164

7.2系统架构165

7.3安装167

7.3.1使用APT安装ModelServer168

7.3.2使用源码编译安装ModelServer169

7.4最佳实践170

7.4.1导出模型170

7.4.2发布模型服务173

7.4.3更新线上模型服务174

7.5小结175

第三部分算法模型篇

第8章深度学习概述178

8.1深度学习的历史178

8.1.1感知机模型与神经网络178

8.1.2神经网络的寒冬与复苏179

8.1.3神经网络的发展与第二次寒冬181

8.1.4深度学习时代的到来183

8.2深度学习的主要应用184

8.2.1计算机视觉185

8.2.2自然语言处理186

8.2.3强化学习188

8.3深度学习与TensorFlow190

8.4小结191

第9章CNN模型192

9.1CNN192

9.1.1CNN简介192

9.1.2卷积层193

9.1.3激活层195

9.1.4池化层195

9.1.5全连接层196

9.1.6Dropout层196

9.1.7BN层197

9.1.8常用的CNN图像分类模型197

9.2TensorFlow-Slim204

9.2.1TensorFlow-Slim总体结构204

9.2.2datasets包和data包205

9.2.3preprocessing包207

9.2.4deployment包207

9.2.5nets包209

9.2.6TensorFlow-Slim最佳实践212

9.3应用216

9.3.1物体检测216

9.3.2图像分割221

9.4小结222

第10章 GAN模型223

10.1原理、特点及应用223

10.1.1原理224

10.1.2特点225

10.1.3应用226

10.2GAN模型的改进228

10.2.1CGAN模型228

10.2.2LAPGAN模型229

10.2.3DCGAN模型230

10.2.4InfoGAN模型230

10.2.5LSGAN模型231

10.2.6WGAN模型232

10.3最佳实践233

10.4小结238

第11章 RNN模型239

11.1基本RNN单元及其变种239

11.1.1RNN模型简介239

11.1.2基本RNN单元240

11.1.3LSTM单元242

11.1.4GRU单元243

11.1.5双向RNN单元244

11.1.6带有其他特性的RNN单元245

11.2RNN模型247

11.2.1PTB-LSTM语言模型247

11.2.2Seq2Seq模型251

11.3小结254

第四部分核心揭秘篇

第12章 TensorFlow运行时核心设计与实现256

12.1运行时框架概述256

12.2关键数据结构257

12.2.1张量相关数据结构258

12.2.2设备相关数据结构260

12.2.3数据流图相关的数据结构263

12.3公共基础机制266

12.3.1内存分配266

12.3.2线程管理268

12.3.3多语言接口269

12.3.4XLA编译技术270

12.3.5单元测试框架271

12.4外部环境接口272

12.4.1加速器硬件接口272

12.4.2系统软件接口275

12.5小结276

第13章 通信原理与实现277

13.1概述277

13.2进程内通信278

13.2.1通信接口278

13.2.2会合点机制280

13.2.3异构设备内存访问282

13.3进程间通信283

13.3.1gRPC通信机制284

13.3.2控制通信286

13.3.3数据通信290

13.4RDMA通信模块294

13.4.1模块结构295

13.4.2消息语义296

13.4.3通信流程297

13.5小结300

第14章 数据流图计算原理与实现301

14.1概述301

14.2数据流图创建302

14.2.1流程与抽象303

14.2.2全图构造305

14.2.3子图提取306

14.2.4图切分307

14.2.5图优化308

14.3单机会话运行308

14.3.1流程与抽象309

14.3.2执行器获取311

14.3.3输入数据填充312

14.3.4图运行313

14.3.5输出数据获取315

14.3.6张量保存315

14.4分布式会话运行315

14.4.1主-从模型316

14.4.2主要抽象317

14.4.3client创建会话319

14.4.4client请求图运行320

14.4.5master驱动图运行321

14.4.6worker实施图运行323

14.5操作节点执行325

14.5.1核函数抽象325

14.5.2CPU上的执行流程326

14.5.3CUDA GPU上的执行流程326

14.6小结327

第五部分生态发展篇

第15章 TensorFlow生态环境330

15.1生态环境概况330

15.1.1社区托管组件330

15.1.2第三方项目333

15.2深度神经网络库Keras334

15.2.1概述334

15.2.2模型概述335

15.2.3顺序模型336

15.2.4函数式模型338

15.3TensorFlow与Kubernetes生态的结合340

15.4TensorFlow与Spark生态的结合344

15.5TensorFlow通信优化技术345

15.6TPU及神经网络处理器348

15.7NNVM模块化深度学习组件349

15.8TensorFlow未来展望——TFX351

15.9小结353

附录A354