国外计算机科学教材系列：模式识别（第4版）

《模式识别（第4版）》综合考虑了有监督、无监督和半监督模式识别的经典的以及当前的理论和实践，为专业技术人员和高校学生建立起了完整的基本知识体系。《模式识别（第4版）》由模式识别领域的两位专家合著，全面阐述了模式识别的基础理论、全新方法、以及各种应用。在第四版中增加了一些全新方法，具体有：半监督学习、非线性降维技术和谱聚类。
主要特点
增加了大数据集和高维数据相关的全新算法，这些算法适用于Web挖掘和生物信息等应用。涵盖了不同的应用，例如图像分析、光学字符识别、信道均衡、语言识别和音频分类等。提供了全新的分类器和鲁棒回归的核方法。分类器组合技术，包括Boostirlg方法。
新特色
用MATLAB求解问题给出一些例题的多种求解方法给出更多的图解新增了一些热点问题，如：非线性降维、非负矩阵因数分解、关联性反馈、鲁棒回归、半监督学习、谱聚类和聚类组合技术

《模式识别（第4版）》全面阐述了模式识别的基础理论、全新方法以及各种应用。模式识别是信息科学和人工智能的重要组成部分，主要应用领域有图像分析、光学字符识别、信道均衡、语言识别和音频分类等。《模式识别（第4版）》在完美地结合当前的理论与实践的基础上，讨论了贝叶斯分类、贝叶斯网络、线性和非线性分类器设计、上下文相关分类、特征生成、特征选取技术、学习理论的基本概念以及聚类概念与算法。与前一版相比，增加了大数据集和高维数据相关的全新算法，这些算法适用于Web挖掘和生物信息等应用；提供了全新的分类器和鲁棒回归的核方法；分类器组合技术，包括Boosting方法。新增一些热点问题，如非线性降维、非负矩阵因数分解、关联性反馈、鲁棒回归、半监督学习、谱聚类和聚类组合技术。每章均提供有习题与练习，用MATLAB求解问题，给出一些例题的多种求解方法：且支持网站上提供有习题解答，以便于读者增加实际经验。
《模式识别（第4版）》可作为高等院校自动化、计算机、电子和通信等专业研究生和高年级本科生的教材，也可作为计算机信息处理、自动控制等相关领域的工程技术人员的参考用书。

Sergios Theodoridis于1973年在雅典大学获得物理学学士学位，又分别于1975和1978年在英国伯明翰大学获得信号处理与通信硕士和博士学位。自1995年，他是希腊雅典大学信息与通信系教授。他有4篇论文获得IEEE的神经网络会刊的卓越论文奖，他是IET和IEEE高级会员。
Konstantinos Koutroumbas 1989年毕业于希腊佩特雷大学的计算机工程与信息学院，1990年在英国伦敦大学获得计算机科学硕士学位，1995年在希腊雅典大学获得博士学位。自2001年任职于希腊雅典国家天文台空间应用与遥感研究院，是国际知名的专家。

第1章 导论 1
1.1 模式识别的重要性 1
1.2 特征、特征向量和分类器 3
1.3 有监督、无监督和半监督学习 4
1.4 MATLAB程序 6
1.5 本书的内容安排 6

第2章 基于贝叶斯决策理论的分类器 8
2.1 引言 8
2.2 贝叶斯决策理论 8
2.3 判别函数和决策面 12
2.4 正态分布的贝叶斯分类 13
2.5 未知概率密度函数的估计 23
2.6 最近邻规则 42
2.7 贝叶斯网络 44
习题 49
MATLAB编程和练习 55
参考文献 60

第3章 线性分类器 63
3.1 引言 63
3.2 线性判别函数和决策超平面 63
3.3 感知器算法 64
3.4 最小二乘法 70
3.5 均方估计的回顾 75
3.6 逻辑识别 80
3.7 支持向量机 81
习题 97
MATLAB编程和练习 99
参考文献 100

第4章 非线性分类器 104
4.1 引言 104
4.2 异或问题 104
4.3 两层感知器 105
4.4 三层感知器 108
4.5 基于训练集准确分类的算法 109
4.6 反向传播算法 110
4.7 反向传播算法的改进 115
4.8 代价函数选择 117
4.9 神经网络大小的选择 119
4.10 仿真实例 123
4.11 具有权值共享的网络 124
4.12 线性分类器的推广 125
4.13 线性二分法中维空间的容量 126
4.14 多项式分类器 127
4.15 径向基函数网络 129
4.16 通用逼近 131
4.17 概率神经元网络 132
4.18 支持向量机：非线性情况 134
4.19 超越SVM的范例 137
4.20 决策树 146
4.21 合并分类器 150
4.22 合并分类器的增强法 155
4.23 类的不平衡问题 160
4.24 讨论 161
习题 161
MATLAB编程和练习 164
参考文献 168

第5章 特征选择 178
5.1 引言 178
5.2 预处理 178
5.3 峰值现象 180
5.4 基于统计假设检验的特征选择 182
5.5 接收机操作特性（ROC）曲线 187
5.6 类可分性测量 188
5.7 特征子集的选择 193
5.8 最优特征生成 196
5.9 神经网络和特征生成/选择 203
5.10 推广理论的提示 204
5.11 贝叶斯信息准则 210
习题 211
MATLAB编程和练习 213
参考文献 216

第6章 特征生成I：线性变换 221
6.1 引言 221
6.2 基本向量和图像 221
6.3 Karhunen-Loève变换 223
6.4 奇异值分解 229
6.5 独立成分分析 234
6.6 非负矩阵因子分解 239
6.7 非线性维数降低 240
6.8 离散傅里叶变换（DFT） 248
6.9 离散正弦和余弦变换 251
6.10 Hadamard变换 252
6.11 Haar变换 253
6.12 回顾Haar展开式 254
6.13 离散时间小波变换（DTWT） 257
6.14 多分辨解释 264
6.15 小波包 265
6.16 二维推广简介 266
6.17 应用 268
习题 271
MATLAB编程和练习 273
参考文献 275

第7章 特征生成II 282
7.1 引言 282
7.2 区域特征 282
7.3 字符形状和大小的特征 298
7.4 分形概述 304
7.5 语音和声音分类的典型特征 309
习题 320
MATLAB编程和练习 322
参考文献 325

第8章 模板匹配 331
8.1 引言 331
8.2 基于最优路径搜索技术的测度 331
8.3 基于相关的测度 342
8.4 可变形的模板模型 346
8.5 基于内容的信息检索：相关反馈 349
习题 352
MATLAB编程和练习 353
参考文献 355

第9章 上下文相关分类 358
9.1 引言 358
9.2 贝叶斯分类器 358
9.3 马尔可夫链模型 358
9.4 Viterbi算法 359
9.5 信道均衡 362
9.6 隐马尔可夫模型 365
9.7 状态驻留的HMM 373
9.8 用神经网络训练马尔可夫模型 378
9.9 马尔可夫随机场的讨论 379
习题 381
MATLAB编程和练习 382
参考文献 384

第10章 监督学习：尾声 389
10.1 引言 389
10.2 误差计算方法 389
10.3 探讨有限数据集的大小 390
10.4 医学图像实例研究 393
10.5 半监督学习 395
习题 404
参考文献 404

第11章 聚类：基本概念 408
11.1 引言 408
11.2 近邻测度 412
习题 427
参考文献 428

第12章 聚类算法I：顺序算法 430
12.1 引言 430
12.2 聚类算法的种类 431
12.3 顺序聚类算法 433
12.4 BSAS的改进 436
12.5 两个阈值的顺序方法 437
12.6 改进阶段 439
12.7 神经网络的实现 440
习题 443
MATLAB编程和练习 444
参考文献 445

第13章 聚类算法II：层次算法 448
13.1 引言 448
13.2 合并算法 448
13.3 cophenetic矩阵 465
13.4 分裂算法 466
13.5 用于大数据集的层次算法 467
13.6 最佳聚类数的选择 472
习题 474
MATLAB编程和练习 475
参考文献 477

第14章 聚类算法III：基于函数最优方法 480
14.1 引言 480
14.2 混合分解方法 481
14.3 模糊聚类算法 487
14.4 可能性聚类 502
14.5 硬聚类算法 506
14.6 向量量化 513
附录 514
习题 515
MATLAB编程和练习 516
参考文献 519

第15章 聚类算法IV 523
15.1 引言 523
15.2 基于图论的聚类算法 523
15.3 竞争学习算法 533
15.4 二值形态聚类算法 540
15.5 边界检测算法 546
15.6 谷点搜索聚类算法 548
15.7 通过代价最优聚类（回顾） 550
15.8 核聚类方法 555
15.9 对大数据集的基于密度算法 558
15.10 高维数据集的聚类算法 562
15.11 其他聚类算法 572
15.12 聚类组合 573
习题 578
MATLAB编程和练习 580
参考文献 582

第16章 聚类有效性 591
16.1 引言 591
16.2 假设检验回顾 591
16.3 聚类有效性中的假设检验 593
16.4 相关准则 600
16.5 单独聚类有效性 612
16.6 聚类趋势 613
习题 620
参考文献 622
附录A 概率论和统计学的相关知识 626
附录B 线性代数基础 635
附录C 代价函数的优化 637
附录D 线性系统理论的基本定义 649
索引 652

模式识别是一门以应用为基础的学科，目的是将对象进行分类。这些对象与应用领域有关，它们可以是图像、信号波形或者任何可测量且需要分类的对象。可以用专用术语“模式”（Pattern）来称呼这些对象。模式识别（Pa~em Recognition）具有悠久的历史。在20世纪60年代以前，模式识别主要是统计学领域中的理论研究。同其他事物一样，计算机的出现提高了对模式识别实际应用的需求，而这反过来又对理论发展提出了更高的要求。就像我们的社会从工业化到后工业化阶段一样，在工业生产中，对自动化以及信息处理和检索的需求变得越来越重要，这种趋势把模式识别推向今天的工程应用和研究的高级阶段。在大多数机器智能系统中，模式识别是用于决策的主要部分。 在机器视觉中，模式识别是非常重要的。机器视觉系统通过照相机捕捉图像，然后通过分析，生成图像的描述信息。典型的机器视觉系统主要应用在制造业中，用于自动视觉检验或自动装配线。例如，在自动视觉检验应用中，生产的产品通过传送带移动到检验站，检验站的照相机确定产品是否合格。因此，必须在线分析图像，模式识别系统将产品分为“合格”和“不合格”两种。然后，根据分类结果采取相应的动作，比如丢弃不合格的产品。在装配线上，必须对不同的对象进行定位和识别，也就是说，将对象分类到已知类别的某一类中，如螺丝刀类、德国钥匙类以及任何工具制造单元，然后机器手把这些对象放置在正确的位置。
字符（字母或数字）识别是模式识别应用的另一个重要领域，主要用于自动化和信息处理。光学字符识别（Optic Character Recognition，OCR）系统已经开始在商业中应用，我们或多或少都对其有所了解。OCR系统有一个前端设备，它由光源、扫描镜头、文档传送机和检测器组成。在光敏检测器的输出端，光的强度变化转换成数字信号，并形成图像阵列。然后，用一系列的图像处理技术完成线和字符的分段，模式识别软件完成字符识别的任务，也就是将每一个符号分到相应的“字符、数字、标点符号”类中。与存储扫描图像相比，存储经识别处理的文档的好处是：更容易进行文字处理；存储ASCII字符比存储文档的图像效率更高。除了印刷体字符识别系统外，现在更多的研究集中于手写体识别。这种系统的典型商业应用是银行支票的机器识别，机器必须能够识别数字的个数和阿拉伯数字，.并进行匹配，而且能够检查收款人相应的支出信用是否相符。哪怕只有一半的支票识别正确，这样的机器也可以将人力从枯燥的工作中解脱出来。另一个应用是邮局的自动邮政系统，它进行邮政编码识别。在线手写体识别系统是具有巨大商业利益的另一应用领域，此系统将用于笔输入计算机。在这种计算机中，数据的输人不是通过键盘而是通过手写，这顺应了开发具有人类技能接口的机器这一发展趋势。
计算机辅助诊断（Computer_aided diagnosis）是模式识别的另一个重要的应用，目的是帮助医生做诊断决定，当然最终的诊断由医生来完成。计算机辅助诊断已经应用于实际，主要研究各种医疗数据，如x射线、计算机断层图、超声波图、心电图（ECG）和脑电图（EEG）。计算机辅助诊断的系统需求来源于如下事实：医疗数据较难解释并且解释结果多依赖于医生的经验。

本书是作者在20年来给研究生和本科生教学的基础上编写的，该课程面向很多专业的学生.例如电力电子工程、计算机工程、计算机科学和信息以及自动控制等专业的研究生。这些经验使我们得以把本书内容编写得既全面又相对独立，并且适用于各种不同知识背景的学生。读者需要具备的知识包括：微积分学基础、初等线性代数和概率论基础。在各个章节中需要的一些数学工具，如概率、统计和约束优化等知识，在本书的4个附录中做了简单的讲解。本书面向大学生和研究生，可以作为一个学期或两个学期的课程。本书也可以作为自学教材，或供研究人员和工程技术人员参考。我们编写本书的动力之一是，使这本书适合于所有从事模式识别相关研究的人员。
范围和方法
本书采用统一的方式讲述各种模式识别方法。模式识别是多个应用领域的核心，包括图像分析、语音和声音识别、生物统计学、生物信息学、数据挖掘和信息检索等。尽管这些领域有很多不同点，但也有共同之处，对它们的研究也有统一的方法，例如数据分类、隐藏模式等。本书的重点在于讲述现在常用的方法。读者可以从本书获得并理解相关的基础知识，进而研究更多的与应用相关的方法。
本书的每一章都采用循序渐进的讲解方式，从基础开始过渡到比较高深的课题，最后对最新技术发表评论。我们尽量保持数学描述和直接叙述之间的平衡，这不是一件容易的任务。然而，我们坚信对于模式识别，如果试图回避数学，将使读者很难理解算法的本质、并丧失研究新算法的潜能；本书会使得读者能够很容易的解决遇到的问题。在模式识别中，最终采用的合适技术和算法在很大程度上依赖于所要解决的问题。根据我们的经验，讲解模式识别是一个使学生复习数学基础知识的好方法。