解析深度学习：语音识别实践

AlphaGo与李世石的围棋大战激发了人们对人工智能是非的诸多争论。人工智能背后的工作原理深度学习跳入大众的视野。AlphaGo的大获全胜一定程度展示了深度学习在应用领域的成功，而语音识别正是深度学习取得显著成功的应用领域之一。

本书是首次以深度学习为主线介绍语音识别应用的书籍，对读者了解语音识别技术及其发展历程有重要的参考价值。

本书作者俞栋、邓力均是该领域的著名专家，他们是深度学习在应用领域取得突破性进展的推动者与实践者，他们在书中分享的研究成果一定程度上代表了本领域全新的研究进展；译者俞凯、钱彦 旻也是本领域的资深专家，并有众多实践成果。 对于从事此领域研究的读者来说，本书无疑有重要的参考价值。

《解析深度学习：语音识别实践》是首部介绍语音识别中深度学习技术细节的专著。全书首先概要介绍了传统语音识别理论和经典的深度神经网络核心算法。接着全面而深入地介绍了深度学习在语音识别中的应用，包括“深度神经网络-隐马尔可夫混合模型”的训练和优化，特征表示学习、模型融合、自适应，以及以循环神经网络为代表的若干先进深度学习技术。

《解析深度学习：语音识别实践》适合有一定机器学习或语音识别基础的学生、研究者或从业者阅读，所有的算法及技术细节都提供了详尽的参考文献，给出了深度学习在语音识别中应用的全景。

俞栋

1998 年加入微软公司，现任微软研究院首席研究员、浙江大学兼职教授和中科大客座教授。他是语音识别和深度学习方向的资深专家，出版了两本专著，发表了150 多篇论文，是近60 项专利的发明人及有广泛影响力的深度学习开源软件CNTK 的发起人和主要作者之一。他在基于深度学习的语音识别技术上的工作带来了语音识别研究方向的转变，极大地推动了语音识别领域的发展，并获得2013 年IEEE 信号处理协会佳论文奖。俞栋博士现担任IEEE 语音语言处理专业委员会委员，曾担任IEEE/ACM音频、语音及语言处理汇刊、IEEE 信号处理杂志等期刊的编委。

邓力

世界著名人工智能、机器学习和语音语言信号处理专家，现任微软首席人工智能科学家和深度学习技术中心研究经理。他在美国威斯康星大学先后获硕士和博士学位，然后在加拿大滑铁卢大学任教获得终身正教授。其间，他还任麻省理工学院研究职位。1999 年加入微软研究院历任数职，并在2014 年初创办深度学习技术中心，主持微软公司和研究院的人工智能和深度学习领域的技术创新。 邓立博士的研究方向包括自动语音与说话者识别、口语识别与理解、语音–语音翻译、机器翻译、语言模式、统计方法与机器学习、听觉和其他生物信息处理、深层结构学习、类脑机器智能、图像语言多模态深度学习，商业大数据深度分析等。他在上述领域做出了重大贡献，是ASA（美国声学学会）会士、IEEE（美国电气和电子工程师协会）会士和理事、ISCA（国际语音通信协会）会士，并凭借在深度学习与自动语音识别方向做出的杰出贡献荣获2015年度IEEE 信号处理技术成就奖。同时，他也曾在高端杂志和会议上发表过与上述领域相关的300 余篇学术论文，出版过5 部著作，发明及合作发明了超过70 多项专利。邓立博士还担任过IEEE 信号处理杂志和《音频、语音与语言处理学报》（IEEE/ACMTransactions on Audio, Speech & anguage Processing）的主编。

俞凯

IEEE 高级会员，上海交通大学计算机科学与工程系特别研究员。清华大学本科、硕士，英国剑桥大学工程系博士。长期从事智能语音及语言处理、人机交互、模式识别及机器学习的研究和产业化工作。他是中组部“千人计划”（青年项目）获得者，国家自然科学基金委优秀青年科学基金获得者，上海市“东方学者”特聘教授；作为共同创始人和首席科学家创立“苏州思必驰信息科技有限公司”。现任中国声学学会语音语言、听觉及音乐分会执委会委员，中国计算机学会人机交互专委会委员，中国语音产业联盟技术工作组副组长。他的研究兴趣涉及语音识别、语音合成、口语理解、对话系统、认知型人机交互等智能语音语言处理技术的多个核心技术领域，在本领域的一流国际期刊和会议上发表论文80 余篇，申请专利10 余项，取得了一系列研究、工程和产业化成果。在InterSpeech 及IEEE Spoken Language Processing 等国际会议上获得3 篇国际会议优秀论文奖，获得国际语音通信联盟（ISCA）2013 年颁发的2008—2012 Computer Speech and Language 优论文奖。受邀担任InterSpeech 2009 语音识别领域主席、EUSIPCO 2011/EUSIPCO 2014 语音处理领域主席、InterSpeech 2014 口语对话系统领域主席等。他负责搭建或参与搭建的大规模连续语音识别系统，曾获得美国国家标准局（NIST）和美国国防部内部评测冠军；作为核心技术人员，负责设计并实现的认知型统计对话系统原型，在CMU 组织的2010 年对话系统国际挑战赛上获得了可控测试的冠军。作为项目负责人或Co-PI，他主持了欧盟第7 框架PARLANCE、国家自然科学基金委、上海市教委、经信委，以及美国通用公司、苏州思必驰信息科技有限公司的一系列科研及产业化项目。2014 年，因在智能语音技术产业化方面的贡献，获得中国人工智能学会颁发的“吴文俊人工智能科学技术奖”。

钱彦旻

上海交通大学计算机科学与工程系助理研究员，博士。分别在2007 年6 月和2013 年1 月于华中科技大学和清华大学获得工学学士和工学博士学位。2013 年4 月起，任上海交通大学计算机科与工程系理研究员。同时从2015 年1 月至2015 年12 月，在英国剑桥大学工程系机器智能实验室语音组进行访问，作为项目研究员与语音识别领域的著名科学家Phil Woodland 教授和Mark Gales 教授开展合作研究。现为IEEE、ISCA 会员，同时也是国际开源项目Kaldi 语音识别工具包开发的项目组创始成员之一。此外，担任IEEE Transactions on Audio, Speech, and Language Processing、SpeechCommunication、ICASSP、Interspeech、ASRU 等国际期刊和会议的审稿人。目前在国内外学术刊物和会议上发表学术论文50 余篇，Google Scholar 总引用数近1000 次。其中包括在语音识别领域优秀国际会议ICASSP、InterSpeech 和ASRU 上发表论文30 余篇，申请国家专利共3 项，已授权1 项。2008 年获科技奥运先进集体奖，2014 年获中国人工智能学会颁发的“吴文俊人工智能科学技术奖进步奖”。曾作为负责人和主要参与者参加了包括英国EPSRC、国家自然科学基金、国家863 等多个项目。目前的研究领域包括：语音识别、说话人和语种识别、自然语言理解、深度学习建模、多媒体信号处理等。

作者及译者简介iv

译者序vii

序ix

前言xi

术语缩写xxiii

符号xxvii

1 简介1

1.1 自动语音识别：更好的沟通之桥 1

1.1.1 人类之间的交流 2

1.1.2 人机交流 2

1.2 语音识别系统的基本结构 4

1.3 全书结构 6

1.3.1 第一部分：传统声学模型6

1.3.2 第二部分：深度神经网络6

1.3.3 第三部分：语音识别中的DNN-HMM 混合系统7

1.3.4 第四部分：深度神经网络中的特征表示学习 7

1.3.5 第五部分：高级的深度模型 7

第一部分传统声学模型9

2 混合高斯模型10

2.1 随机变量10

2.2 高斯分布和混合高斯随机变量11

2.3 参数估计13

2.4 采用混合高斯分布对语音特征建模 15

3 隐马尔可夫模型及其变体17

3.1 介绍17

3.2 马尔可夫链19

3.3 序列与模型 20

3.3.1 隐马尔可夫模型的性质21

3.3.2 隐马尔可夫模型的仿真22

3.3.3 隐马尔可夫模型似然度的计算22

3.3.4 计算似然度的高效算法24

3.3.5 前向与后向递归式的证明25

3.4 期望zui大化算法及其在学习HMM 参数中的应用 26

3.4.1 期望zui大化算法介绍 26

3.4.2 使用EM 算法来学习HMM 参数——Baum-Welch 算法 28

3.5 用于解码HMM 状态序列的维特比算法32

3.5.1 动态规划和维特比算法32

3.5.2 用于解码HMM 状态的动态规划算法33

3.6 隐马尔可夫模型和生成语音识别模型的变体35

3.6.1 用于语音识别的GMM-HMM 模型 36

3.6.2 基于轨迹和隐藏动态模型的语音建模和识别37

3.6.3 使用生成模型HMM 及其变体解决语音识别问题 38

第二部分深度神经网络41

4 深度神经网络42

4.1 深度神经网络框架42

4.2 使用误差反向传播来进行参数训练 45

4.2.1 训练准则 45

4.2.2 训练算法46

4.3 实际应用50

4.3.1 数据预处理51

4.3.2 模型初始化52

4.3.3 权重衰减52

4.3.4 丢弃法 53

4.3.5 批量块大小的选择55

4.3.6 取样随机化56

4.3.7 惯性系数 57

4.3.8 学习率和停止准则58

4.3.9 网络结构59

4.3.10 可复现性与可重启性 59

5 高级模型初始化技术61

5.1 受限玻尔兹曼机61

5.1.1 受限玻尔兹曼机的属性63

5.1.2 受限玻尔兹曼机参数学习66

5.2 深度置信网络预训练 69

5.3 降噪自动编码器预训练71

5.4 鉴别性预训练74

5.5 混合预训练75

5.6 采用丢弃法的预训练 75

第三部分语音识别中的深度神经网络–隐马尔可夫混合模型77

6 深度神经网络–隐马尔可夫模型混合系统78

6.1 DNN-HMM 混合系统 78

6.1.1 结构78

6.1.2 用CD-DNN-HMM 解码80

6.1.3 CD-DNN-HMM 训练过程81

6.1.4 上下文窗口的影响83

6.2 CD-DNN-HMM 的关键模块及分析 85

6.2.1 进行比较和分析的数据集和实验85

6.2.2 对单音素或者三音素的状态进行建模 87

6.2.3 越深越好88

6.2.4 利用相邻的语音帧89

6.2.5 预训练 90

6.2.6 训练数据的标注质量的影响 90

6.2.7 调整转移概率 91

6.3 基于KL 距离的隐马尔可夫模型91

7 训练和解码的加速93

7.1 训练加速93

7.1.1 使用多GPU 流水线反向传播94

7.1.2 异步随机梯度下降97

7.1.3 增广拉格朗日算法及乘子方向交替算法100

7.1.4 减小模型规模 101

7.1.5 其他方法102

7.2 加速解码103

7.2.1 并行计算103

7.2.2 稀疏网络105

7.2.3 低秩近似107

7.2.4 用大尺寸DNN 训练小尺寸DNN108

7.2.5 多帧DNN 109

8 深度神经网络序列鉴别性训练111

8.1 序列鉴别性训练准则 111

8.1.1 zui大相互信息 112

8.1.2 增强型MMI 113

8.1.3 zui小音素错误/状态级zui小贝叶斯风险114

8.1.4 统一的公式115

8.2 具体实现中的考量116

8.2.1 词图产生116

8.2.2 词图补偿117

8.2.3 帧平滑 119

8.2.4 学习率调整119

8.2.5 训练准则选择 120

8.2.6 其他考量120

8.3 噪声对比估计 121

8.3.1 将概率密度估计问题转换为二分类设计问题121

8.3.2 拓展到未归一化的模型123

8.3.3 在深度学习网络训练中应用噪声对比估计算法 124

第四部分深度神经网络中的特征表示学习127

9 深度神经网络中的特征表示学习128

9.1 特征和分类器的联合学习128

9.2 特征层级129

9.3 使用随意输入特征的灵活性 133

9.4 特征的鲁棒性 134

9.4.1 对说话人变化的鲁棒性134

9.4.2 对环境变化的鲁棒性 135

9.5 对环境的鲁棒性137

9.5.1 对噪声的鲁棒性138

9.5.2 对语速变化的鲁棒性 140

9.6 缺乏严重信号失真情况下的推广能力141

10 深度神经网络和混合高斯模型的融合144

10.1 在GMM-HMM 系统中使用由DNN 衍生的特征144

10.1.1 使用Tandem 和瓶颈特征的GMM-HMM 模型144

10.1.2 DNN-HMM 混合系统与采用深度特征的GMM-HMM 系统的比较147

10.2 识别结果融合技术149

10.2.1 识别错误票选降低技术（ROVER） 149

10.2.2 分段条件随机场（SCARF） 151

10.2.3 zui小贝叶斯风险词图融合153

10.3 帧级别的声学分数融合153

10.4 多流语音识别 154

11 深度神经网络的自适应技术157

11.1 深度神经网络中的自适应问题157

11.2 线性变换159

11.2.1 线性输入网络.159

11.2.2 线性输出网络 159

11.3 线性隐层网络 161

11.4 保守训练162

11.4.1 L2 正则项163

11.4.2 KL 距离正则项163

11.4.3 减少每个说话人的模型开销 165

11.5 子空间方法167

11.5.1 通过主成分分析构建子空间 167

11.5.2 噪声感知、说话人感知及设备感知训练168

11.5.3 张量172

11.6 DNN 说话人自适应的效果172

11.6.1 基于KL 距离的正则化方法 173

11.6.2 说话人感知训练174

第五部分先进的深度学习模型177

12 深度神经网络中的表征共享和迁移178

12.1 多任务和迁移学习178

12.1.1 多任务学习 178

12.1.2 迁移学习180

12.2 多语言和跨语言语音识别180

12.2.1 基于Tandem 或瓶颈特征的跨语言语音识别181

12.2.2 共享隐层的多语言深度神经网络182

12.2.3 跨语言模型迁移185

12.3 语音识别中深度神经网络的多目标学习188

12.3.1 使用多任务学习的鲁棒语音识别188

12.3.2 使用多任务学习改善音素识别189

12.3.3 同时识别音素和字素（graphemes） 190

12.4 使用视听信息的鲁棒语音识别 190

13 循环神经网络及相关模型192

13.1 介绍192

13.2 基本循环神经网络中的状态-空间公式194

13.3 沿时反向传播学习算法195

13.3.1 zui小化目标函数 196

13.3.2 误差项的递归计算196

13.3.3 循环神经网络权重的更新197

13.4 一种用于学习循环神经网络的原始对偶技术199

13.4.1 循环神经网络学习的难点199

13.4.2 回声状态（Echo-State）性质及其充分条件 199

13.4.3 将循环神经网络的学习转化为带约束的优化问题 200

13.4.4 一种用于学习RNN 的原始对偶方法201

13.5 结合长短时记忆单元（LSTM）的循环神经网络203

13.5.1 动机与应用203

13.5.2 长短时记忆单元的神经元架构204

13.5.3 LSTM-RNN 的训练205

13.6 循环神经网络的对比分析205

13.6.1 信息流方向的对比：自上而下还是自下而上 206

13.6.2 信息表征的对比：集中式还是分布式208

13.6.3 解释能力的对比：隐含层推断还是端到端学习209

13.6.4 参数化方式的对比：吝啬参数集合还是大规模参数矩阵 209

13.6.5 模型学习方法的对比：变分推理还是梯度下降210

13.6.6 识别正确率的比较211

13.7 讨论212

14 计算型网络214

14.1 计算型网络214

14.2 前向计算215

14.3 模型训练 218

14.4 典型的计算节点222

14.4.1 无操作数的计算节点 223

14.4.2 含一个操作数的计算节点223

14.4.3 含两个操作数的计算节点228

14.4.4 用来计算统计量的计算节点类型235

14.5 卷积神经网络 236

14.6 循环连接 239

14.6.1 只在循环中一个接一个地处理样本240

14.6.2 同时处理多个句子242

14.6.3 创建任意的循环神经网络243

15 总结及未来研究方向245

15.1 路线图 245

15.1.1 语音识别中的深度神经网络启蒙245

15.1.2 深度神经网络训练和解码加速248

15.1.3 序列鉴别性训练248

15.1.4 特征处理249

15.1.5 自适应 250

15.1.6 多任务和迁移学习251

15.1.7 卷积神经网络 251

15.1.8 循环神经网络和长短时记忆神经网络251

15.1.9 其他深度模型 252

15.2 技术前沿和未来方向 252

15.2.1 技术前沿简析252

15.2.2 未来方向253

参考文献255???????

序

本书首次专门讲述了如何将深度学习方法，特别是深度神经网络（DNN）技术应用于语音识别（ASR）领域。在过去的几年中，深度神经网络技术在语音识别领域的应用取得了前所未有的成功。这使得本书成为在深度神经网络技术的发展历程中一个重要的里程碑。作者继其前一本书Deep Learning: Methods and Applications 之后，在语音识别技术和应用上进行了更深入钻研，得成此作。与上一本书不同，该作并没有对深度学习的各个应用领域都进行探讨，而是将重点放在了语音识别技术及其应用上，并就此进行了更深入、更专一的讨论。难能可贵的是，这本书提供了许多语音识别技术背景知识，以及深度神经网络的技术细节，比如严谨的数学描述和软件实现也都包含其中。这些对语音识别领域的专家和有一定基础的读者来说都将是极其珍贵的资料。

本书的独特之处还在于，它并没有局限于目前常应用于语音识别技术的深度神经网络上，还兼顾包含了深度学习中的生成模型，这种模型可以很自然地嵌入先验的领域知识和问题约束。作者在背景材料中充分证实了自20 世纪90 年代早期起，语音识别领域研究者提出的深度动态生成模型（dynamic generative models）的丰富性，同时又将其与最近快速发展的深度鉴别性模型在统一的框架下进行了比较。书中以循环神经网络和隐动态模型为例，对这两种截然不同的深度模型进行了全方位有见地的优劣比较。这为语音识别中的深度学习发展和其他信号及信息处理领域开启了一个新的激动人心的方向。该书还满怀历史情怀地对四代语音识别技术进行了分析。当然，以深度学习为主要内容的第四代技术是本书所详细阐述的，特别是DNN 和深度生成模型的无缝结，将使得知识扩展可以在一种最自然的方式下完成。

总的来说，该书可能成为语音识别领域工作者在第四代语音识别技术时代的重要参考书。全书不但巧妙地涵盖了一些基本概念，使你能够理解语音识别全貌，还对近两年兴盛起来的强大的深度学习方法进行了深入的细节介绍。读完本书，你将可以看清前沿的语音识别是如何构建在深度神经网络技术上的，可以满怀自信地去搭建识别能力达到甚至超越人类的语音识别系统。

Sadaoki Furui

芝加哥丰田技术研究所所长，东京理工学院教授

以自然语言人机交互为主要目标的自动语音识别（ASR），在近几十年来一直是研究的热点。在2000 年以前，有众多语音识别相关的核心技术涌现出来，例如：混合高斯模型（GMM）、隐马尔可夫模型（HMM）、梅尔倒谱系数（MFCC）及其差分、n 元词组语言模型（LM）、鉴别性训练以及多种自适应技术。这些技术极大地推进了ASR 以及相关领域的发展。但是比较起来，在2000 年到2010 年间，虽然GMM-HMM序列鉴别性训练这种重要的技术被成功应用到实际系统中，但是在语音识别领域中无论是理论研究还是实际应用，进展都相对缓慢与平淡。

然而在过去的几年里，语音识别领域的研究热情又一次被点燃。由于移动设备对语音识别的需求与日俱增，并且众多新型语音应用，例如，语音搜索（VS）、短信听写（SMD）、虚拟语音助手（例如，苹果的Siri、Google Now 以及微软的Cortana）等在移动互联世界获得了成功，新一轮的研究热潮自然被带动起来。此外，由于计算能力的显著提升以及大数据的驱动，深度学习在大词汇连续语音识别下的成功应用也是同样重要的影响因素。比起此前最先进的识别技术——GMM-HMM 框架，深度学习在众多真实世界的大词汇连续语音识别任务中都使得识别的错误率降低了三分之一或更多，识别率也进入到真实用户可以接受的范围内。举例来说，绝大多数SMD 系统的识别准确率都超过了90%，甚至有些系统超过了95%。

作为研究者，我们参与并见证了这许许多多令人兴奋的深度学习技术上的发展。考虑到近年来在学术领域与工业领域迸发的ASR 研究热潮，我们认为是时候写一本书来总结语音识别领域的技术进展，尤其是近年来的最新进展。

最近20 年，随着语音识别领域的不断发展，很多关于语音识别以及机器学习的优秀书籍相继问世，这里列举一部分：

? Deep Learning: Methods and Applications, by Li Deng and Dong Yu (June, 2014)

? Automatic Speech and Speaker Recognition: Large Margin and Kernel Methods, byJoseph Keshet, Samy Bengio (Jan, 2009)

? Speech Recognition Over Digital Channels: Robustness and Standards, by AntonioPeinado and Jose Segura (Sept, 2006)

? Pattern Recognition in Speech and Language Processing, by Wu Chou and Biing-HwangJuang (Feb, 2003)

? Speech Processing — A Dynamic and Optimization-Oriented Approach, by Li Dengand Doug O’Shaughnessy (June 2003)

? Spoken Language Processing: A Guide to Theory, Algorithm and System Development,by Xuedong Huang, Alex Acero, and Hsiao-Wuen Hon (April 2001)

? Digital Speech Processing: Synthesis, and Recognition, Second Edition, by SadaokiFurui (June, 2001)

? Speech Communications: Human and Machine, Second Edition, by Douglas O’Shaughnessy(June, 2000)

? Speech and Language Processing — An Introduction to Natural Language Processing,Computational Linguistics, and Speech Recognition, by Daniel Jurafsky and JamesMartin (April, 2000)

? Speech and Audio Signal Processing, by Ben Gold and Nelson Morgan (April, 2000)

? Statistical Methods for Speech Recognition, by Fred Jelinek (June, 1997)

? Fundamentals of Speech Recognition, by Lawrence Rabiner and Biing-Hwang Juang(April, 1993)

? Acoustical and Environmental Robustness in Automatic Speech Recognition, by AlexAcero (Nov, 1992)

然而，所有这些书或者是出版于2009 年以前，也就是深度学习理论被提出之前，或者是像我们2014 年出版的综述书籍，都没有特别关注深度学习技术在语音识别领域的应用。早期的书籍缺少2010 年以后的深度学习新技术，而语音识别领域以及深度学习的研究者所需求的技术及数学细节更是没能涵盖其中。不同于以上书籍，本书除了涵盖必要的背景材料外，特别整理了近年来语音识别领域上深度学习以及鉴别性层次模型的相关研究。本书涵盖了一系列深度学习模型的理论基础及对其的理解，其中包括深度神经网络（DNN）、受限玻耳兹曼机（RBM）、降噪自动编码器、深度置信网络、循环神经网络（RNN）、长短时记忆（LSTM）RNN，以及各种将它们应用到实际系统的技术，例如，DNN-HMM 混合系统、tandem 和瓶颈系统、多任务学习及迁移学习、序列鉴别性训练以及DNN 自适应技术。本书更加细致地讨论了搭建真实世界实时语音识别系统时的注意事项、技巧、配置、深层模型的加速以及其他相关技术。为了更好地介绍基础背景，本书有两章讨论了GMM 与HMM 的相关内容。然而由于本书的主题是深度学习以及层次性建模，因而我们略过了GMM-HMM 的技术细节。所以本书是上面罗列参考书籍的补充，而不是替代。我们相信本书将有益于语音处理及机器学习领域的在读研究生、研究者、实践者、工程师，以及科学家的学习研究工作。我们希望，本书在提供领域内相关技术的参考以外，能够激发更多新的想法与创新，进一步促进ASR 的发展。

在本书的撰写过程中，Alex Acero、Geoffrey Zweig、Qiang Huo、Frank Seide、JashaDroppo、Mike Seltzer 以及Chin-Hui Lee 都提供了大量的支持与鼓励。同时，我们也要感谢Springer 的编辑Agata Oelschlaeger 和Kiruthika Poomalai，他们的耐心和及时的帮助使得本书能够顺利出版。

俞栋邓力

美国华盛顿西雅图

2014 年7 月