视觉机器学习20讲

《视觉机器学习20讲》是计算机、自动化、信息、电子与通信学科方向的专著，详尽地介绍了K-Means、KNN学习、回归学习、决策树学习、RandomForest、贝叶斯学习、EM算法、Adaboost、SVM方法、增强学习、流形学习、RBF学习、稀疏表示、字典学习、BP学习、CNN学习、RBM学习、深度学习、遗传算法、蚁群方法等基本理论；深入阐述了视觉机器学习算法的优化方法和实验仿真；系统地总结了其优点和不足。
本书特别重视如何将视觉机器学习算法的理论和实践有机地结合，解决视觉机器学习领域中的诸多基础问题，可应用于医学图像分析、工业自动化、机器人、无人车、人脸检测与识别、车辆信息识别、行为检测与识别、智能视频监控等。本书特别重视算法的典型性和可实现性，既包含本领域的经典算法，也包含本领域的研究成果。
本书不仅可作为高年级本科生与研究生教材，而且也是从事视觉机器学习领域研发极为有用的参考资料。

绪论
第1讲 K-means
1.1 基本原理
1.2 算法改进
1.3 仿真实验
1.4 算法特点
第 2 讲 KNN学习
2.1 基本原理
2.2 算法改进
2.3 仿真实验
2.4 算法特点
第 3 讲 回归学习
3.1 基本原理
3.1.1 参数回归
3.1.2 非参数回归
3.1.3 半参数回归
3.2 算法改进
3.2.1 线性回归模型
3.2.2 多项式回归模型
3.2.3 主成分回归模型
3.2.4 自回归模型
3.2.5 核回归模型
3.3 仿真实验
3.3.1 回归学习流程
3.3.2 基于回归学习的直线边缘提取
3.3.3 基于回归学习的图像插值
3.4 算法特点
第 4 讲 决策树学习
4.1 基本原理
4.1.1 分类与聚类
4.1.2 决策树
4.1.3 信息增益的度量标准
4.1.4 信息增益度量期望的熵降低
4.1.5 悲观错误剪枝PEP
4.1.6 基本决策树算法
4.2 算法改进
4.2.1 ID3算法
4.2.2 C4.5算法
4.2.3 SLIQ算法
4.2.4 SPRINT算法
4.3 仿真实验
4.3.1 用于学习布尔函数的ID3算法伪代码
4.3.2 C4.5算法构造决策树的伪代码
4.4 算法特点
第 5 讲 Random Forest学习
5.1 基本原理
5.1.1 决策树
5.1.2 Bagging集成学习
5.1.3 Random Forest方法
5.2 算法改进
5.3 仿真实验
5.3.1 Random Forest分类与回归流程
5.3.2 Forest-RI和Forest-RC
5.3.3 基于Random Forest的头部姿态估计
5.4 算法特点
第 6 讲 贝叶斯学习
6.1 基本原理
6.2 算法改进
6.2.1 朴素贝叶斯模型
6.2.2 层级贝叶斯模型
6.2.3 增广贝叶斯学习模型
6.2.4 基于Boosting技术的朴素贝叶斯模型
6.2.5 贝叶斯神经网络模型
6.3 仿真实验
6.3.1 Learn_Bayse(X,V)
6.3.2 Classify_Bayse(X)
6.4 算法特点
第 7 讲 EM算法
7.1 基本原理
7.2 算法改进
7.2.1 EM算法的快速计算
7.2.2 未知分布函数的选取
7.2.3 EM算法收敛性的改进
7.3 仿真实验
7.3.1 EM算法流程
7.3.2 EM算法的伪代码
7.3.3 EM算法应用--高斯混合模型
7.4 算法特点
第 8 讲 Adaboost
8.1 基本原理
8.1.1 Boosting方法
8.1.2 Adaboost方法
8.2 算法改进
8.2.1 权值更新方法的改进
8.2.2 Adaboost并行算法
8.3 仿真实验
8.3.1 Adaboost算法实现流程
8.3.2 Adaboost算法示例
8.4 算法特点
8.4.1 Adaboost算法的优点
8.4.2 Adaboost算法的缺点
第 9 讲 SVM方法
9.1 基本原理
9.2 算法改进
9.3 仿真实验
9.4 算法特点
第 10 讲 增强学习
10.1 基本原理
10.2 算法改进
10.2.1 部分感知模型
10.2.2 增强学习中的函数估计
10.2.3 分层增强学习
10.2.4 多Agent增强学习
10.3 仿真实验
10.4 算法特点
第 11 讲 流形学习
11.1 算法原理
11.1.1 ISOMAP
11.1.2 LLE
11.1.3 LE
11.1.4 HE
11.2 算法改进
11.2.1 LPP
11.2.2 MFA
11.3 算法仿真
11.4 算法特点
第 12 讲 RBF学习
12.1 基本原理
12.1.1 基于RBF函数的内插方法
12.1.2 RBF神经网络
12.1.3 数据中心的计算方法
12.2 算法改进
12.2.1 针对完全内插问题的改进方法
12.2.2 针对不适定问题的改进方法
12.2.3 广义RBF神经网络
12.3 仿真实验
12.3.1 基于高斯函数的RBF学习
12.3.2 RBF学习算法流程
12.4 算法特点
第 13 讲 稀疏表示
13.1 基本原理
13.1.1 信号稀疏表示
13.1.2 贪婪求解算法
13.1.3 凸优化求解算法
13.2 算法改进
13.2.1 组合Lasso（Group Lasso）
13.2.2 混合Lasso（Fused Lasso）
13.2.3 弹性网络（Elastic net）
13.3 仿真实验
13.3.1 OMP算法
13.3.2 APG算法
13.3.3 基于稀疏表示的人脸识别
13.4 算法特点
13.4.1 算法优点
13.4.2 算法缺点
第 14 讲 字典学习
14.1 基本原理
14.2 算法改进
14.2.1 最优方向法（MOD）
14.2.2 K-SVD法
14.2.3 在线字典学习法
14.3 仿真实验
14.3 基于字典学习的视频图像降噪方法
14.4 算法特点
14.4.1 算法优点
14.4.2 算法缺点
第 15 讲 BP学习
15.1 基本原理
15.1.1 人工神经网络
15.1.2 BP学习原理
15.2 算法改进
15.2.1 改进学习速率
15.2.2 改进训练样本
15.2.3 改进损失函数
15.2.4 改进连接方式
15.3 仿真实验
15.4 算法特点
第 16 讲 CNN学习
16.1 基本原理
16.1.1 神经认知机模型
16.1.2 CNN算法思想
16.1.3 CNN网络结构
16.1.4 CNN网络学习
16.2 算法改进
16.2.1 设计新的卷积神经网络训练策略
16.2.2 使用GPU加速卷积运算过程
16.2.3 使用并行计算提高网络训练和测试速度
16.2.4 采用分布式计算提高网络训练和测试速度
16.2.5 硬件化卷积神经网络
16.3 仿真实验
16.3.1 卷积神经网络训练算法仿真
16.3.2 卷积神经网络实际应用实例
16.4 算法特点
16.4.1 算法优点
16.4.2 算法缺点
第 17 讲 RBM学习
17.1 基本原理
17.1.1 RBM学习思想
17.1.2 RBM模型基础
17.1.3 RBM模型学习
17.2 算法改进
17.2.1 方差RBM
17.2.2 均值方差RBM
17.2.3 稀疏RBM
17.2.4 稀疏组RBM
17.2.5 分类RBM
17.3 仿真实验
17.4 算法特点
17.4.1 算法优点
17.4.2 算法缺点
第 18 讲 深度学习
18.1 基本原理
18.2 算法改进
18.3 仿真实验
18.4 算法特点
第 19 讲 遗传算法
19.1 算法原理
19.2 算法改进
19.2.1 适应度函数设计
19.2.2 初始群体的选取
19.3 算法仿真
19.3.1 图像预处理
19.3.2 车牌特征选取
19.3.3 基于遗传算法的车牌定位
19.4 算法特点
19.4.1 遗传算法的优点
19.4.2 遗传算法的不足
第 20 讲 蚁群方法
20.1 基本原理
20.1.1 群智能
20.1.2 蚂蚁寻找食物源方法
20.1.3 蚁群算法的规则
20.1.4 蚁群算法的实现
20.2 算法改进
20.2.1 基于遗传学的改进蚁群算法
20.2.2 蚁群系统
20.2.3 精英蚁群系统
20.2.4 最大最小蚁群系统
20.2.5 排序蚁群系统
20.2.6 最优-最差蚂蚁系统
20.3 仿真实验
20.3.1 蚁群算法实例
20.3.2 蚁群算法实现流程
20.3.3 蚁群算法伪代码
20.4 算法特点

在新加坡国立大学访问期间，我经常和兴军亮博士、张立宁博士、方宇强博士、谭筠博士等讨论，谈到视觉机器学习非常有用，但是很难找到称心如意的参考资料，网络上相关资源不少，但是有的泛泛而谈，有的空洞无味，有的实例无法运行，有的效率很低，有的缺乏实验数据……曾经甚是苦闷，回过头来思考，大家或多或少都有些酸甜苦辣的经验和教训。我提议大家就常用视觉机器学习方法，贡献出自己的收获，获得大家一致赞同。于是我们在多次会议讨论之后，形成视觉机器学习20讲的提纲，大家分头撰写，然后由我来统稿、修改和完善。经过近一年的努力，终于开花结果，真心希望这本读书笔记和心得体会能够让同道中人少些奔走，免除去粗取精、去伪存真的劳苦，熟悉算法的来源、发展和所以然，掌握算法的改进方法、实验仿真流程、源代码和视频库，使得研究人员和学生们尽快上手，树立深入研究的信心。
本书是视觉机器学习领域的12位博士多年研究视觉机器学习的基础理论、核心算法、关键技术和应用实践的科学结晶，是作者们多年相关科研实践的心得体会和系统总结。包括K-Means、KNN学习、回归学习、决策树学习、Random Forest、贝叶斯学习、EM方法、AdaBoost、SVM方法、增强学习、流形学习、RBF学习、稀疏表示、字典学习、BP学习、CNN学习、RBM学习、深度学习、遗传方法、粒子群方法、蚁群方法共20个常用视觉机器学习方法。人们对其进行了深入浅出的阐述，以简单明了、丰富图表、解释代码、面向应用、服务研究生等为宗旨，从基本原理、实现方法、改进方法、仿真流程、核心代码、源程序、实验数据等方面重点展开，适合于从事医学图像分析、工业自动化、机器人、无人车、人脸检测与识别、车辆信息识别、行为检测与识别、智能视频监控等领域的研究生和技术人员学习参考。
本书章节安排
全书共1个绪论，20讲内容，各章内容编写安排如下：
绪论（谢剑斌博士）；
第1讲 K-Means（方宇强博士）；
第2讲 KNN学习（谢剑斌博士）；
第3讲 回归学习（闫玮博士）；
第4讲 决策树学习（谢剑斌博士）；
第5讲 Random Forest（张政博士）；
第6讲 贝叶斯学习（刘通博士）；
第7讲 EM算法（王勇博士）；
第8讲 Adaboost（胡俊博士）；
第9讲 SVM方法（张立宁博士）；
第10讲 增强学习（李沛秦博士）；
第11讲 流形学习（张立宁博士）；
第12讲 RBF学习（谢剑斌博士）；
第13讲 稀疏表示（方宇强博士）；
第14讲 字典学习（方宇强博士）；
第15讲 BP学习（兴军亮博士）；
第16讲 CNN学习（兴军亮博士）；
第17讲 RBM学习（兴军亮博士）；
第18讲 深度学习（兴军亮博士）；
第19讲 遗传算法（张立宁博士）；
第20讲 蚁群方法（谢剑斌博士）；
沈杰博士、谭筠博士在实验仿真方面做了很多工作。
本书还提供了实验仿真源代码资源下载。
本书由国防科技大学电子科学与工程学院数字视频课题组组稿，谢剑斌教授负责全书审核。在编著过程中得到了国防科技大学庄钊文教授、唐朝京教授的大力支持，穆春迪、刘双亚、李润华等为本书编著做了大量工作，在此一并致谢！由于时间有限，参与作者较多，可能没有列全参考文献，请读者或相关作者来信告知，在提供配套资源的网站和再版时加入并致谢。
编者