机器学习系统设计

大量Python库的参考

用丰富的案例，细析机器学习技巧与方法

一个基于场景的教程，带你承袭正确的思维方式（数据探索）

《机器学习系统设计》是实用的Python机器学习教程，结合大量案例，介绍了机器学习的各方面知识。《机器学习系统设计》不仅告诉你“怎么做”，还会分析“为什么”，力求帮助读者掌握多种多样的机器学习Python库，学习构建基于Python的机器学习系统，并亲身实践和体验机器学习系统的功能。
《机器学习系统设计》适合需要机器学习技术的Python开发人员、计算机科学研究人员、数据科学家、人工智能程序员，以及统计程序员阅读参考。

Willi Richert，机器学习和机器人学博士，目前任职于微软Bing搜索核心研发团队。他从事多种机器学习领域的研究，包括主动学习和统计机器翻译。

Luis Pedro Coelho，计算生物学家，主要关注生物图像信息学和大规模图像数据的处理，致力于生物标本图像分析中机器学习技术的应用，他还是Python计算机视觉库mahotas的主要开发人员。他于1998年开始开发开源软件，2004年起从事Python开发，并为多个Python开源库贡献了代码。另外，Luis拥有机器学习领域世界前列的卡内基-梅隆大学的博士学位，并发表过多篇科学论文。

目录

第1章Python机器学习入门1
1．1梦之队：机器学习与Python1
1．2这本书将教给你什么(以及不会教什么)2
1．3遇到困难的时候怎么办3
1．4开始4
1．4．1NumPy、SciPy和Matplotlib简介4
1．4．2安装Python5
1．4．3使用NumPy和SciPy智能高效地处理数据5
1．4．4学习NumPy5
1．4．5学习SciPy9
1．5我们第一个(极小的)机器学习应用10
1．5．1读取数据10
1．5．2预处理和清洗数据11
1．5．3选择正确的模型和学习算法12
1．6小结20

第2章如何对真实样本分类22
2．1Iris数据集22
2．1．1第一步是可视化23
2．1．2构建第一个分类模型24
2．2构建更复杂的分类器28
2．3更复杂的数据集和更复杂的分类器29
2．3．1从Seeds数据集中学习29
2．3．2特征和特征工程30
2．3．3最邻近分类30
2．4二分类和多分类33
2．5小结34

第3章聚类：寻找相关的帖子35
3．1评估帖子的关联性35
3．1．1不应该怎样36
3．1．2应该怎样36
3．2预处理：用相近的公共词语个数来衡量相似性37
3．2．1将原始文本转化为词袋37
3．2．2统计词语38
3．2．3词语频次向量的归一化40
3．2．4删除不重要的词语41
3．2．5词干处理42
3．2．6停用词兴奋剂44
3．2．7我们的成果和目标45
3．3聚类46
3．3．1K均值46
3．3．2让测试数据评估我们的想法49
3．3．3对帖子聚类50
3．4解决我们最初的难题51
3．5调整参数54
3．6小结54

第4章主题模型55
4．1潜在狄利克雷分配(LDA)55
4．2在主题空间比较相似度59
4．3选择主题个数64
4．4小结65

第5章分类：检测劣质答案67
5．1路线图概述67
5．2学习如何区分出优秀的答案68
5．2．1调整样本68
5．2．2调整分类器68
5．3获取数据68
5．3．1将数据消减到可处理的程度69
5．3．2对属性进行预选择和处理70
5．3．3定义什么是优质答案71
5．4创建第一个分类器71
5．4．1从k邻近(kNN)算法开始71
5．4．2特征工程72
5．4．3训练分类器73
5．4．4评估分类器的性能74
5．4．5设计更多的特征74
5．5决定怎样提升效果77
5．5．1偏差?方差及其折中77
5．5．2解决高偏差78
5．5．3解决高方差78
5．5．4高偏差或低偏差78
5．6采用逻辑回归81
5．6．1一点数学和一个小例子81
5．6．2在帖子分类问题上应用逻辑回归83
5．7观察正确率的背后：准确率和召回率84
5．8为分类器瘦身87
5．9出货88
5．10小结88

第6章分类II：情感分析89
6．1路线图概述89
6．2获取推特(Twitter)数据89
6．3朴素贝叶斯分类器介绍90
6．3．1了解贝叶斯定理90
6．3．2朴素91
6．3．3使用朴素贝叶斯进行分类92
6．3．4考虑未出现的词语和其他古怪情况94
6．3．5考虑算术下溢95
6．4创建第一个分类器并调优97
6．4．1先解决一个简单问题97
6．4．2使用所有的类99
6．4．3对分类器的参数进行调优101
6．5清洗推文104
6．6将词语类型考虑进去106
6．6．1确定词语的类型106
6．6．2用SentiWordNet成功地作弊108
6．6．3我们第一个估算器110
6．6．4把所有东西融合在一起111
6．7小结112

第7章回归：推荐113
7．1用回归预测房价113
7．1．1多维回归116
7．1．2回归里的交叉验证116
7．2惩罚式回归117
7．2．1L1和L2惩罚117
7．2．2在Scikit-learn中使用Lasso或弹性网118
7．3P大于N的情形119
7．3．1基于文本的例子120
7．3．2巧妙地设置超参数(hyperparameter)121
7．3．3评分预测和推荐122
7．4小结126

第8章回归：改进的推荐127
8．1改进的推荐127
8．1．1使用二值推荐矩阵127
8．1．2审视电影的近邻129
8．1．3组合多种方法130
8．2购物篮分析132
8．2．1获取有用的预测133
8．2．2分析超市购物篮134
8．2．3关联规则挖掘136
8．2．4更多购物篮分析的高级话题137
8．3小结138

第9章分类III：音乐体裁分类139
9．1路线图概述139
9．2获取音乐数据139
9．3观察音乐140
9．4用FFT构建第一个分类器143
9．4．1增加实验敏捷性143
9．4．2训练分类器144
9．4．3在多分类问题中用混淆矩阵评估正确率144
9．4．4另一种方式评估分类器效果：受试者工作特征曲线(ROC)146
9．5用梅尔倒频谱系数(MFCC)提升分类效果148
9．6小结152

第10章计算机视觉：模式识别154
10．1图像处理简介154
10．2读取和显示图像155
10．2．1图像处理基础156
10．2．2加入椒盐噪声161
10．2．3模式识别163
10．2．4计算图像特征163
10．2．5设计你自己的特征164
10．3在更难的数据集上分类166
10．4局部特征表示167
10．5小结170

第11章降维171
11．1路线图171
11．2选择特征172
11．2．1用筛选器检测冗余特征172
11．2．2用封装器让模型选择特征178
11．3其他特征选择方法180
11．4特征抽取181
11．4．1主成分分析(PCA)181
11．4．2PCA的局限性以及LDA会有什么帮助183
11．5多维标度法(MDS)184
11．6小结187

第12章大数据188
12．1了解大数据188
12．2用Jug程序包把你的处理流程分解成几个任务189
12．2．1关于任务189
12．2．2复用部分结果191
12．2．3幕后的工作原理192
12．2．4用Jug分析数据192
12．3使用亚马逊Web服务(AWS)194
12．3．1构建你的第一台机器195
12．3．2用starcluster自动创建集群199
12．4小结202

附录A更多机器学习知识203
A．1在线资源203
A．2参考书203
A．2．1问答网站203
A．2．2博客204
A．2．3数据资源205
A．2．4竞争日益加剧205
A．3还剩下什么205
A．4小结206

索引207

如果你手里（或者你的电子阅读器里）有这本书，可以说，这是一个幸运的巧合。毕竟，每年有几百万册图书印刷出来，供数百万读者阅读，而你恰好选择了这一本。可以说，正是机器学习算法引领你来阅读这本书（或者说是把这本书引领到你面前）。而我们作为本书的作者，很高兴看到你愿意了解更多的“怎么做”和“为什么”。

本书大部分内容都将涉及“怎么做”。例如，怎么处理数据才能让机器学习算法最大限度地利用它们？怎么选择正确的算法来解决手头的问题？

我们偶尔也会涉及“为什么”。例如，为什么正确评估很重要？为什么在特定情形下一个算法比另一个算法的效果更好？

我们知道，要成为该领域的专家还有很多知识要学。毕竟，本书只介绍了一些“怎么做”和极小一部分“为什么”。但在最后，我们希望这些内容可以帮你“启航”，然后快速前行。

本书内容

第1章通过一个非常简单的例子介绍机器学习的基本概念。尽管很简单，但也可能会有过拟合的风险，这对我们提出了挑战。

第2章讲解了使用真实数据解决分类问题的方法，在这里我们对计算机进行训练，使它能够区分不同类型的花朵。

第3章讲解了词袋方法的威力，我们可以在没有真正理解帖子内容的情况下，用它来寻找相似的帖子。

第4章让我们超越将每个帖子分配给单个簇的方式。由于真实的文本可以处理多个主题，我们可以看到如何把帖子分配到几个主题上。

第5章讲解了如何用逻辑回归判定用户的答案是好还是坏。在这个情景的背后，我们将学会用偏差-方差的折中调试机器学习模型。

第6章介绍了朴素贝叶斯的工作原理，以及如何用它对推文进行分类，来判断推文中的情感是正面的还是负面的。

第7章讨论了一个处理数据的经典课题，但它在今天仍然有意义。我们用它构建了一个推荐系统，这个系统根据用户所输入的喜欢和不喜欢的信息，为用户推荐新的商品。

第8章同时使用多种方法改进推荐效果。我们还可以看到如何只根据购物信息构建推荐系统，而不需要用户的评分数据（用户并不总会提供这一信息）。

第9章举例说明，如果有人把我们收集而成的庞大音乐库弄乱了，那么为歌曲建立次序的唯一希望就是让机器来对歌曲分类。你会发现，有时信任别人的专长比我们自己构建特征更好。

第10章讲解了如何在处理图像这个特定情景下应用分类方法。这个领域又叫做模式识别。

第11章告诉我们还有其他什么方法可以帮我们精简数据，使机器学习算法能够处理它们。

第12章讲解了不断膨胀的数据规模，以及这为何会为数据分析造成难题。在本章中，我们利用多核或计算集群，探索了一些更大规模数据的处理方法。另外，我们还介绍了云计算（将亚马逊的Web服务当做云计算提供商）。

附录A罗列了一系列机器学习的优质资源。

阅读需知

本书假定读者了解Python，并且知道如何利用easy_install或pip安装库文件。我们并不依赖于任何高等数学知识，如微积分或矩阵代数。

总体而言，本书将使用以下版本的软件，不过如果你使用任何新近版本，也没有问题。

。 Python 2.7

。NumPy 1.6.2

。SciPy 0.11

。Scikit-learn 0.13

读者对象

本书适合想通过开源库来学习机器学习的Python程序员阅读参考。我们会通过示例概述机器学习的基本模式。

本书也适用于想用Python构建机器学习系统的初学者。Python是一个能够快速构建原型系统的灵活语言，它背后的算法都是由优化过的C或C++编写而成。因此，它的代码运行快捷，并且十分稳健，完全可以用在实际产品中。