数据科学实战

大数据时代，人们越来越意识到数据在工作和生活中的重要性，数据科学家应运而生。面对媒体天花乱坠的炒作，怎么才能拨云见日，真正掌握这门跨学科利用数据的学问呢？这本脱胎于常春藤名校哥伦比亚大学“数据科学导论”课程的实战手册能够给你一个满意的回答。
本书作者Rachel Schutt曾在谷歌研究院工作多年，现为美国新闻集团数据科学高级副总裁。她在哥伦比亚大学任教期间，广泛邀请了谷歌、微软、eBay及一些创业公司的数据科学家为学生授课，打破了所谓大学里教不出数据科学家的神话。这些讲座涵盖了上述公司及业界使用的新算法、方法和模型。本书就是在这些一手资料基础上汇编而成的，它不仅可供不具备相关领域知识的初学者真正了解数据科学，而且也是熟悉线性代数、概率论、统计学、机器学习等主题的人士开阔视野、提升实战技能的优秀指南。

《数据科学实战》脱胎于哥伦比亚大学“数据科学导论”课程的教学讲义，它界定了数据科学的研究范畴，是一本注重人文精神，多角度、全方位、深入介绍数据科学的实用指南，堪称大数据时代的实战宝典。本书旨在让读者能够举一反三地解决重要问题，内容包括：数据科学及工作流程、统计模型与机器学习算法、信息提取与统计变量创建、数据可视化与社交网络、预测模型与因果分析、数据预处理与工程方法。另外，本书还将带领读者展望数据科学未来的发展。

Rachel Schutt，美国新闻集团旗下数据科学部门高级副总裁、哥伦比亚大学统计系兼职教授、约翰逊实验室高级研究科学家，同时也是哥伦比亚大学数据科学及工程研究所教育委员会的发起人之一。她曾在谷歌研究院工作数年，负责设计算法原型并通过建模理解用户行为。

Cathy O'Neil，约翰逊实验室高级数据科学家、哈佛大学数学博士、麻省理工学院数学系博士后、巴纳德学院教授，曾发表过大量算术代数几何方面的论文。他曾在全球投资管理公司D.E. Shaw担任对冲基金金融师，后加入专门评估银行和对冲基金风险的软件公司RiskMetrics，个人博客：mathbabe.org。

“这本书告诉我们什么是数据科学。”

“本书是进入数据科学领域的入门指南，它会告诉你干这一行哪些技能是必备的！”

“这本书既严谨，又非常通俗易懂。各种概念的讲解都提供了真实案例辅助理解。”

“本书汇集了行业翘楚的大量洞见。它不仅能让你全面把握这个新兴的领域，来自一线的实战经验也能让你迅速站在行业的前沿。”

作者介绍 XII
关于封面图XIII
前言XIV
第1章简介：什么是数据科学
1.1大数据和数据科学的喧嚣
1.2冲出迷雾
1.3为什么是现在
1.4数据科学的现状和历史
1.5数据科学的知识结构
1.6思维实验：元定义
1.7什么是数据科学家
1.7.1学术界对数据科学家的定义
1.7.2工业界对数据科学家的定义
第2章统计推断、探索性数据分析和数据科学工作流程
2.1大数据时代的统计学思考
2.1.1统计推断
2.1.2总体和样本
2.1.3大数据的总体和样本
2.1.4大数据意味着大胆的假设
2.1.5建模
2.2探索性数据分析
2.2.1探索性数据分析的哲学
2.2.2练习：探索性数据分析
2.3数据科学的工作流程
2.4思维实验：如何模拟混沌
2.5案例学习：RealDirect
2.5.1RealDirect是如何赚钱的
2.5.2练一练：RealDirect公司的数据策略
第3章算法
3.1机器学习算法
3.2三大基本算法
3.2.1线性回归模型
3.2.2k 近邻模型（k-NN）
3.2.3k 均值算法
3.3练习：机器学习算法基础
3.4总结
3.5思维实验：关于统计学家的自动化
第4章垃圾邮件过滤器、朴素贝叶斯与数据清理
4.1思维实验：从实例中学习
4.1.1线性回归为何不适用
4.1.2k 近邻效果如何
4.2朴素贝叶斯模型
4.2.1贝叶斯法则
4.2.2个别单词的过滤器
4.2.3直通朴素贝叶斯
4.3拉普拉斯平滑法
4.4对比朴素贝叶斯和k 近邻
4.5Bash代码示例
4.6网页抓取：API和其他工具
4.7Jake的练习题：文章分类问题中的朴素贝叶斯模型
第5章逻辑回归
5.1思维实验
5.2分类器
5.2.1运行时间
5.2.2你自己
5.2.3模型的可解释性
5.2.4可扩展性
5.3逻辑回归：一个来自M6D 的真实案例研究
5.3.1点击模型
5.3.2模型背后
5.3.3α和β 的参数估计
5.3.4牛顿法
5.3.5随机梯度下降法
5.3.6操练
5.3.7模型评价
5.4练习题
第6章时间戳数据与金融建模
6.1Kyle Teague与GetGlue公司
6.2时间戳
6.2.1探索性数据分析（EDA）
6.2.2指标和新变量
6.2.3下一步怎么做
6.3轮到Cathy O'Neill了
6.4思维实验
6.5金融建模
6.5.1样本期内外以及因果关系
6.5.2金融数据处理
6.5.3对数收益率
6.5.4实例：标准普尔指数
6.5.5如何衡量波动率
6.5.6指数平滑法
6.5.7金融模型的反馈
6.5.8聊聊回归模型
6.5.9先验信息量
6.5.10一个小例子
6.6练习：GetGlue提供的时间戳数据
第7章从数据到结论
7.1William Cukierski
7.1.1背景介绍：数据科学竞赛
7.1.2背景介绍：众包模式
7.2Kaggle模式
7.2.1Kaggle的参赛者
7.2.2Kaggle的客户
7.3思维实验：关于作业自动评分系统
7.4特征选择
7.4.1例子：留住用户
7.4.2过滤型
7.4.3包装型
7.4.4决策树与嵌入型变量选择
7.4.5熵
7.4.6决策树算法
7.4.7如何在决策树模型中处理连续性变量
7.4.8随机森林
7.4.9用户黏性：模型的预测能力与可解释性
7.5David Huffaker：谷歌社会学研究的新方法
7.5.1从描述性统计到预测模型
7.5.2谷歌的社交研究
7.5.3隐私保护
7.5.4思维实验：如何消除用户的顾虑
第8章构建面向大量用户的推荐引擎
8.1一个真实的推荐引擎
8.1.1最近邻算法回顾
8.1.2最近邻模型的已知问题
8.1.3超越近邻模型：基于机器学习的分类模型
8.1.4高维度问题
8.1.5奇异值分解（SVD）
8.1.6关于SVD的重要特性
8.1.7主成分分析（PCA）
8.1.8交替最小二乘法
8.1.9固定矩阵V，更新矩阵U
8.1.10关于这些算法的一点思考
8.2思维实验：如何过滤模型中的泡沫
8.3练习：搭建自己的推荐系统
第9章数据可视化与欺诈侦测
9.1数据可视化的历史
9.1.1Gabriel Tarde
9.1.2Mark 的思维实验
9.2到底什么是数据科学
9.2.1Processing
9.2.2Franco Moretti
9.3一个数据可视化的方案实例
9.4Mark 的数据可视化项目
9.4.1《纽约时报》大厅里的可视化：Moveable Type
9.4.2屏幕上的生命：Cascade可视化项目
9.4.3Cronkite广场项目
9.4.4eBay与图书网购
9.4.5公共剧场里的"莎士比亚机"
9.4.6这些展览的目的是什么
9.5数据科学和风险
9.5.1关于Square公司
9.5.2支付风险
9.5.3模型效果的评估问题
9.5.4建模小贴士
9.6数据可视化在Square
9.7Ian的思维实验
9.8关于数据可视化
第10章社交网络与数据新闻学
10.1Morning Analytics与社交网络
10.2社交网络分析
10.3关于社交网络分析的相关术语
10.3.1如何衡量向心性
10.3.2使用哪种向心性测度
10.4思维实验
10.5Morningside Analytics
10.6从统计学的角度看社交网络分析
10.6.1网络的表示方法与特征值向心度
10.6.2随机网络的第一个例子：Erdos-Renyi模型
10.6.3随机网络的第二个例子：指数随机网络图模型
10.7数据新闻学
10.7.1关于数据新闻学的历史回顾
10.7.2数据新闻报告的写作：来自专家的建议
第11章因果关系研究
11.1相关性并不代表因果关系
11.1.1对因果关系提问
11.1.2干扰因子：一个关于在线约会网站的例子
11.2OK Cupid的发现
11.3黄金准则：随机化临床实验
11.4A/B测试
11.5退一步求其次：关于观察性研究
11.5.1辛普森悖论
11.5.2鲁宾因果关系模型
11.5.3因果关系的可视化
11.5.4定义：因果关系
11.6三个小建议
第12章流行病学
12.1Madigan的学术背景
12.2思维实验
12.3统计学在现代
12.4医学文献与观察性研究
12.5分层法不解决干扰因子的问题
12.6就没有更好的办法吗
12.7研究性实验（OMOP）
12.8最后的思维实验
第13章从竞赛中学到的：数据泄漏和模型评价
13.1Claudia作为数据科学家的知识结构
13.1.1首席数据科学家的生活
13.1.2作为一名女数据科学家
13.2数据挖掘竞赛
13.3如何成为出色的建模者
13.4数据泄漏
13.4.1市场预测
13.4.2亚马逊案例学习：出手阔绰的顾客
13.4.3珠宝抽样问题
13.4.4IBM 客户锁定
13.4.5乳腺癌检测
13.4.6预测肺炎
13.5如何避免数据泄漏
13.6模型评价
13.6.1准确度重要吗
13.6.2概率的重要性，不是非0 即1
13.7如何选择算法
13.8最后一个例子
13.9临别感言
第14章数据工程：MapReduce、Pregel、Hadoop
14.1关于David Crawshaw
14.2思维实验
14.3MapReduce
14.4单词频率问题
14.5其他MapReduce案例
14.6Pregel
14.7关于Josh Wills
14.8思维实验
14.9给数据科学家的话
14.9.1数据丰富和数据匮乏
14.9.2设计模型
14.10算算Hadoop的经济账
14.10.1Hadoop简介
14.10.2Cloudera
14.11Josh 的工作流程
14.12如何开始使用Hadoop
第15章听听学生们怎么说
15.1重在过程
15.2不再简单
15.3援助之手
15.4殊途同归
15.5逢山开路，遇水架桥
15.6作品展示
第16章下一代数据科学家、自大狂和职业道德
16.1前面都讲了些什么
16.2什么是数据科学（再问一次）
16.3谁是下一代的数据科学家
16.3.1成为解决问题的人
16.3.2培养软技能
16.3.3成为提问者
16.4做一个有道德感的数据科学家
16.5对于职业生涯的建议

RachelSchutt
2012年秋天，我在哥伦比亚大学开设了一门新课：数据科学导论。作为一个新兴领域，数据科学在学术界尚未划分为一个独立学科。那么数据科学到底是什么呢？我将这门课的讲义集结成书，试图回答这一问题。
为了帮助读者理解本书及其缘起，我觉得有必要简单介绍一下我自己，和我设计并讲授这门课的初衷。
初衷
简单地说，我期望在我上大学时就有这样的课。但那是20世纪90年代，数据爆炸尚未开始，开设这样一门课也就无从谈起。我本科时主修数学专业，主要是做理论和实证研究。虽然很庆幸这些训练赋予了我严谨解决问题的能力，但同时我也略感遗憾，若当时能再学点实际应用的技巧就更好了。
在从大学毕业到获得统计学博士学位期间，我走了一些弯路，我一直在试图寻找适合自己的研究领域，喜欢探究隐藏在宇宙中的模式，喜欢解答有趣的谜题，希望可以将自己的这些爱好物尽其用。之所以谈起这些，是因为现在很多学生觉得必须先知道自己这辈子到底想要干什么，我做学生时，不可能规划将来要从事数据科学相关的工作，因为那时根本还没有数据科学这样一个领域。因此我建议这些学生，或者其他愿意听我在这儿唠叨的人：大可不必这样。不必现在就规划好未来，走点弯路也没什么，谁知道这一路上你会发现什么呢？我拿到统计学博士学位后，在谷歌工作了几年，在这几年中，数据科学、数据科学家这些术语才在硅谷流行起来。
这个世界有许多问题尚未解决，对于那些拥有量化思维又乐于开动大脑的人来说，在解决问题的过程中充满了机遇。我的目标是帮助学生们成为具有批判性思维的人、能用创新思维去解决问题（甚至是人们尚未发现的问题）的人，对世界充满好奇喜欢问问题的人。若要我去构建一个数学模型，去为治愈癌症贡献一份力量，或者揭示出自闭症的奥秘，或者用来预防恐怖袭击，我或许永远做不到。但我的学生有一天会做到，我教给了他们这些知识，就算完成了自己的使命。写作此书，使我有机会将毕生所学传播给更多的人，我希望他们能从中得到激励，或者学到一些有用的工具，来让这个世界变得更好，而不是更坏。
建模和数据分析的过程并非彻底地中立，会受到研究者个人价值观的影响。研究的问题是由你来挑选的，研究假设也是你根据模型得出的，度量方法和算法也是由你来设计的。
世界上也并不是所有的问题都需要用数据科学或技术手段来解决，一个好的数据科学家是指他能甄别出哪些问题适合用数据科学解决，构建出对应的数据模型或者编写代码去解决它。但是我相信，在多学科的团队中，如果有一个理解数据、具有量化思维、精通编程的问题解决者（让我们将这种人称为“数据科学家”），这个团队可能会走得更远。
课程的起源
我在2012年3月份提议开设此课，主要原因有三。其中第一个原因最重要，我将会花最大篇幅去阐述。
原因一：我想告诉我的学生业界的数据科学家是怎么工作的，并且让他们掌握一些数据科学家所使用的技术。
在为Google+工作时，我所在的数据科学团队由一群身怀绝技的博士组成，其中有学社会学的、学工程的、学物理的和学计算机的，而我是统计学专业的。我们隶属于一个更大的团队，这个团队有很多天才的数据工程师，他们实现数据管道、基础架构、分析面板和一些实验性质的架构（用来做A/B测试）。我们的团队架构是扁平化的，我们有海量的数据，每个人都是各自领域的专家，我们精诚合作，做出了很多不可思议的事，包括建立预测模型、实现算法原型、揭示出隐藏在数据背后的模式，这些对我们的产品影响深远。
以数据为基础，我们为领导层的决策提供真知灼见；分析因果关系，我们发展出了新的方法论。这些全仰仗世界一流的工程师和技术设备。每个人都为团队引入了专家级的技能，包括编码、软件工程、统计学、数学、机器学习、通信、可视化、探索性数据分析（EDA）等，还有对社交网络和社交空间的数据的敏感直觉和专业知识。
要知道，没有人是全知全能的，但集合所有人的智慧，我们就做到“无所不能”。我们认识到了每种技能的价值，因此就成功了。我们的共同点是守信，对解决有趣的问题充满好奇心，对待新的科学发现既保有适度的怀疑又充满激情。我们喜爱这项工作，对数据背后的模式充满了好奇。
我居住在纽约，希望把我在谷歌公司的工作经验传授给哥伦比亚大学的学生们，我相信他们需要这个，而且，我也喜欢教学。我想把我从工作中学到的东西教给他们。另外，我知道纽约的技术圈里有一个新兴的数据科学家社区，我也希望学生们能从他们身上汲取知识。
因此，这门课程常会邀请业界或学术界的数据科学家来做客座演讲。每位嘉宾所专长的技能和领域都不尽相同。我希望通过这样一种多样性的组合，让学生们对数据科学有一个更全面的认识。
原因二：数据科学有希望成为一门极具研究价值、意义深远的学科，它会影响到人们生活的方方面面。为此，哥伦比亚大学和纽约市市长布隆伯格先生在2012年7月宣布成立了一个数据科学与工程研究所。开设这门课是在尝试发展数据科学的理论，我希望让数据科学成为一门真正的科学。
原因三：我时常听到业界的数据科学家说，在脱离实践的课堂上是无法真正教授数据科学的，我想挑战一下这种言论。我一直将我的课堂视作数据科学家的孵化器，而我的学生也确实表现出色，他们将会成为数据科学界冉冉升起的新星。事实上，本书其中一章内容就是由我的学生们贡献的。
本书的起源
如果不是遇到了CathyO‘Neil，我的教学笔记也不会集结成书。她是一位数学家，后来转型为数据科学家，她的个人博客mathbabe。org很受欢迎，在博客中的“关于自己”部分，她说自己一直在期待下面这个问题能有更好的答案：非理论派的数学家能做些什么以让这个世界变得更加美好？我向大学提议开设数据科学导论这门课程时，恰好认识了Cathy，那时她正在一个初创公司工作，职位是数据科学家。对于我开课的尝试，她十分支持。她还提出亲自过来听课，并在博客上同步直播我的授课内容。鉴于我性格比较内向低调，起先我并不喜欢这么做，后来Cathy说服了我。她说这与商业广告的肆意炒作截然不同，这是一个绝好的机会，借此可以将“数据科学”的概念向大众普及。
我在哥伦比亚大学上的每一节课，Cathy都会坐在第一排，并不时提出问题。她后来还受邀作为这门课的客座嘉宾给同学们上了一课（见第6章）。除了将我的讲义发布到博客上，Cathy还对授课内容贡献甚巨，比如，她提醒我们数据建模过程中存在一些道德伦理方面的考量。此外，她鼓励我也同步开设一个博客（http：//columbiadatascience。com/blog/），用来和学生们做直接交流。我在上面也会总结自己的教学经验，这或许会帮到其他教授。Cathy博客中所有关于我授课内容的条目，再加上我博客中的部分内容，构成了本书的原始素材，我们在这一基础上修改加工，再集合一些其他资料，终成此书。
本书内容
本书既介绍实践应用，也提出理论规范。一方面，本书介绍了一些业内顶尖数据科学家的日常工作内容，带大家看看他们在实践中如何应用数据科学知识，借此管中窥豹，了解这一学科目前的应用现状。另一方面，我们还将从学术角度去定义数据科学的研究范畴。
这不是一本关于机器学习的教科书。恰恰相反，本书会多角度全方位、深入地介绍数据科学。它是对现有数据学科领域的纵览，试图为这一学科勾勒出一幅全景图。因此，在选择案例时，我们会更注重广度而非深度。
希望本书能够被那些善待它的人充分利用，举一反三，去解决那些重要的问题。
这门课在哥伦比亚大学讲完后，我听到了这样的评价：它是一门从人文主义角度、全面讲解数据科学的课程。我们不仅关注工具、数学、模型、算法和代码，同时也很关注上述过程中的人性化考量。关于什么是人文主义者，我很喜欢如下的定义：“他十分关心人类的福祉，尊重个人的价值观，并且注重维护个体尊严。”如何在数据科学中体现人文主义？你在建模和设计算法时，认识到你作为个人所应起到的作用，想想哪些东西是人所具备而电脑不具备的，比如基于道德的判断；向世界公布一种新的统计模型前，想想会为他人的生活带来什么样的影响。
组织结构
本书的组织结构遵循我在哥伦比亚大学的数据科学导论课程，在第1章，我们将会回答“什么是数据科学”这个核心问题，同时介绍数据科学工作流程，这是全书组织结构的纲领。第2章和第3章对统计模型和机器学习算法做一概览，它们是后续章节的基础。第4章到第6章，以及第8章将会针对特定案例深入学习一些模型和算法。第7章讲述如何从数据中提取有效信息以及在模型中创建统计变量。第9章和第10章将深入介绍一些传统学术界很少涉足的内容（当然现在情况有所改善）：数据可视化和社交网络。第11章和第12章将从预测模型转而介绍因果分析。第13章和第14章介绍数据预处理以及工程方法。第15章是我的学生们讲述他们的故事——他们是怎样学习数据科学的。第16章展望数据科学未来的发展。
阅读须知
阅读本书时最好从前往后依序阅读，这样更便于理解，因为不少概念都是一环扣一环的。如果你的统计和概率背景不强，或者从前没有编过程，那么阅读本书的同时，如能阅读本章末尾附带的补充材料以查漏补缺，效果将会更好。全书为大家推荐了很多补充材料，当你阅读某个章节感到困难时，这或许由于你缺失某些背景知识，或许由于我们的讲解不够清晰，这时你都可以求助于这些补充材料，厘清概念。