驾驭大数据

国内外知名数据分析专家、行业领袖联袂推荐！
世界顶级数据仓库公司Teradata首席分析专家Bill Franks倾力巨献！
揭秘驾驭大数据的技术和方法，诠释大数据专业分析之道！
抓住大数据！理解大数据！驾驭大数据！在大数据掘金浪潮中脱颖而出！
你是否在大数据面前犹豫、恐惧、不知所措？你是否无法说服你的老板投入人力、财力、物力去进行大数据分析？你是否已经身处大数据中而依旧茫然？你是否在做了很多大数据分析后仍然无法发现新的商业价值和机会？
如何不再因循守旧，如何积极主动地去改变、探索、创新，如何在驾驭大数据的过程中游刃有余、成竹在胸？
答案就在《驾驭大数据》一书中！
《驾驭大数据》将会告诉你：
· 什么是大数据？
· 目前有哪些大数据源？
· 这些大数据源有什么价值？
· 有哪些技术和方法可以帮助我们驾驭大数据？
· 需要招聘什么样的分析师？
· 如何打造一支Super分析团队？
· 什么样的文化氛围才能促进分析创新？

《驾驭大数据》为读者提供了处理大数据和在你的企业中培养一种创新和发现的文化所需的工具、过程和方法，描绘了一个易于实施的行动计划，以帮助你的企业发现新的商业机会，实现新的业务流程，并做出更明智的决策。
本书主要介绍了如何驾驭大数据浪潮，并详细地介绍了什么是大数据，大数据为什么重要，以及如何应用大数据。本书还从具体实用的角度，介绍了用于分析和操作大数据的工具、技术和方法；以及人才和企业文化的角度，介绍了如何使分析专家、分析团队以及所需的分析原则更加高效，如何通过分析创新中心使得分析更加有创造力，以及如何改变分析文化。
《驾驭大数据》适于所有对数据、数据挖掘、数据分析感兴趣的技术人员和决策者阅读。

Bill Franks，是Teradata公司全球合作伙伴计划的首席分析专家，他负责跟踪研究分析领域的前端趋势，帮助客户理解Teradata和其分析合作伙伴如何为客户创造价值。Bill还负责管理Teradata与SAS合作成立的业务分析创新中心，并专注于帮助客户获得创新分析能力。此外，Bill负责制定Teradata公司在高级分析领域的战略与定位。
Bill是国际数据分析研究所的一名讲师，国际数据分析研究所（International Institute for Analytics）是由分析领域专家Tom Davenport成立的研究机构。Bill还是一名活跃的演讲人和博客作者。
Bill一直专注于如何将复杂的分析转化为业务人员可以理解的语言，并帮助企业更有效地使用这些分析成果。他曾服务于很多不同行业和公司规模的客户，其中有财富前100强的大型企业，也有小型的非营利组织。
Bill拥有弗吉尼亚科技大学应用统计专业的学士学位，以及北卡罗来纳州立大学应用统计专业的硕士学位。

“随着信息技术的飞速发展，人类社会已进入一个数字信息时代。即时获取和掌握信息的多少，己成为衡量一个国家实力强弱的标志。但一切信息，又随不同需求者而定义为有益与否，而一切有益信息都是从海量数据中经过分析而生成的。海量数据又随时间不断产生，不断流动、扩散，形成一股像海潮的大数据流。只有经过对大数据的分析才能形成各自需要的信息，才能从信息中产生知识，才能造就智慧型社会。本书作者就大数据兴起及分析方法和技巧作出了深入浅出的表述，在当前大数据热潮中，值得一读。”
——吴基传 原国家信息产业部部长

“信息技术的飞速发展，以及互联网企业商业模式的不断创新，使得全球数据量呈现出几何级数般的爆炸性增长，全球进入了大数据时代。红楼梦中‘任凭弱水三千，我只取一瓢饮’，在浩瀚的信息海洋中，谁能够更快速、更准确地获取有价值的信息并充分利用，谁就能在大数据时代立于不败之地，获得成功。如何充分利用大数据、挖掘大数据所蕴含的价值，需要我们把握大数据的特点，积极探索海量数据存储、实时数据处理、新型分析挖掘技术的应用，以及新的数据架构的设计等解决之道。本书对上述问题进行了深入探讨，提出了许多真知灼见，值得一读。”
——王晓初 中国电信集团公司董事长

“大数据时代不以人的意志而来。对此，不仅要认知和熟悉，更要学会驾驭与运用。与一般大数据书籍不同，本书聚焦如何在分析中凝炼数据价值、在运用中创造数据财富，发乎启迪，止乎‘驾驭’，对于人们在大数据的浪潮中畅享更多精彩大有裨益。”
——常小兵 中国联通集团公司董事长

“现代信息技术推动了大数据的发展，大数据给各行各业带来了许多新的机会。面对大数据的浪潮，人们关心如何去釆集和汇总海量的数据，人们更关心如何对采集到的数据进行系统性的分析，通过分析体现出数据的价值，并在实际工作中得到充分的利用。本书很好地回答了这些问题。”
——王建宙 原中国移动集团公司董事长

“大数据浪潮催生了一个新的产业，也催生了一本又一本关于大数据的新书。这一本由业内的技术先驱和行业领导者之一Teradata的专家 Bill Franks 撰写的著作，从丰富的实战经验中萃取出大数据相关的若干关键的概念，并给予了精确而易懂的解读。它可以让大数据的客户、方案提供者、分析师们在短时间内通盘了解关于大数据的概念、主要技术、工具、方法和流程，快速走上决胜未来的大数据之路。”
——刘博 明博智创（北京）软件技术有限责任公司董事长

“面对大数据带来的挑战和机遇，卓越的科技和商业领袖都认识到大数据分析技术和实践的优势。完成这种炼数成金的思想转变，领悟到洞察力的真正价值，将获得驱动业务发展的无穷能量。本书不仅涵盖驾驭大数据的最佳技术、方法和流程，而且介绍了如何培养优秀的分析师及创新文化，专注于大数据链条中最核心的分析和决策行动环节，是大数据时代每一位思想家、技术精英和商业领袖必读的书籍。”
——吴辅世 SAS赛仕软件大中华区总裁

第一部分大数据的兴起
第1章什么是大数据，大数据为什么重要
1.1什么是大数据
1.2大数据中的“大”和“数据”哪个更重要
1.3大数据有何不同
1.4大数据为何是数量更多的、相同类型的传统数据
1.5大数据的风险
1.6你为什么需要驾驭大数据
1.7大数据的结构
1.8探索大数据
1.9很多大数据其实并不重要
1.10有效过滤大数据
1.11将大数据和传统数据混合
1.12对大数据标准的需求
1.13今天的大数据将不再是明天的大数据
1.14本章小结
第2章网络数据：原始的大数据
2.1网络数据概观
2.1.1你遗漏了什么
2.1.2想象各种可能性
2.1.3一个全新的信息来源
2.1.4应当收集什么数据
2.1.5关于隐私
2.2网络数据揭示了什么
2.2.1购物行为
2.2.2顾客的购买路径和偏好
2.2.3研究行为
2.2.4反馈行为
2.3行动中的网络数据
2.3.1最优的推荐商品
2.3.2流失模型
2.3.3响应模型
2.3.4顾客分类
2.3.5评估广告效果
2.4本章小结
第3章典型大数据源及其价值
3.1汽车保险业：车载信息服务数据的价值
3.2多个行业：文本数据的价值
3.3多个行业：时间数据与位置数据的价值
3.4零售制造业：RFID数据的价值
3.5电力行业：智能电网数据的价值
3.6博彩业：筹码跟踪数据的价值
3.7工业发动机和设备：传感器数据的价值
3.8视频游戏：遥测数据的价值
3.9电信业与其他行业：社交网络数据的价值
3.10本章小结
第二部分驾驭大数据：技术、过程以及方法
第4章分析可扩展性的演进
4.1分析可扩展性的历史
4.2分析与数据环境的关联性
4.3海量并行处理系统
4.3.1使用MPP系统进行数据准备与评分
4.3.2使用MPP系统进行数据准备与评分小结
4.4云计算
4.4.1公有云
4.4.2私有云
4.4.3云计算小结
4.5网格计算
4.6MapReduce
4.6.1MapReduce工作原理
4.6.2MapReduce优缺点
4.6.3MapReduce小结
4.7这不是一个单选题
4.8本章小结
第5章分析流程的演进
5.1分析沙箱
5.1.1分析沙箱：定义与范围
5.1.2分析沙箱的好处
5.1.3内部分析沙箱
5.1.4外部分析沙箱
5.1.5混合式分析沙箱
5.1.6不要仅仅使用数据，而要丰富数据
5.1.7 系统负载管理和容量规划
5.2什么是分析数据集
5.2.1两种分析数据集
5.2.2传统的分析数据集
5.3企业分析数据集
5.3.1什么时候创建企业分析数据集
5.3.2企业分析数据集里有什么
5.3.3逻辑结构与物理结构
5.3.4更新企业分析数据集
5.3.5汇总表还是概要视图
5.3.6分享财富
5.4嵌入式评分
5.4.1嵌入式评分集成
5.4.2模型与评分管理
5.5本章小结
第6章分析工具与方法的演进
6.1分析方法的演进
6.1.1组合建模
6.1.2简易模型
6.1.3文本分析
6.1.4跟上分析方法的发展脚步
6.2分析工具的演进
6.2.1图形化用户界面的崛起
6.2.2单点解决方案的兴起
6.2.3开源的历史
6.2.4数据可视化的历史
6.3本章小结
第三部分驾驭大数据：人和方法
第7章如何提供优质分析
7.1分析与报表
7.1.1报表
7.1.2分析
7.2分析的G.R.E.A.T原则
7.2.1导向性（Guided）
7.2.2相关性（Relevant）
7.2.3可解释性（Explainable）
7.2.4可行性（Actionable）
7.2.5及时性（Timely）
7.3核心分析方法与高级分析方法
7.4坚持你的分析
7.5正确地分析问题
7.6统计显著性与业务重要程度
7.6.1统计显著性
7.6.2业务重要程度
7.7样本VS全体
7.8业务推断与统计计算
7.9本章小结
第8章如何成为优秀的分析专家
8.1哪些人是分析专家
8.2对分析专家常见的误解
8.3每一位优秀的分析专家都是独特的
8.3.1教育
8.3.2行业经验
8.3.3当心“人力资源清单”
8.4优秀分析专家身上经常被低估的特质
8.4.1承诺
8.4.2创造力
8.4.3商业头脑
8.4.4演讲能力与沟通技巧
8.4.5直觉
8.5分析认证有意义吗，还是干扰视听的噪音
8.6本章小结
第9章如何打造优秀的分析团队
9.1各个行业并非生而平等
9.2行动起来
9.3人才紧缩
9.4团队组织结构
9.4.1分布式组织结构
9.4.2集中式组织结构
9.4.3混合式组织结构
9.5持续更新团队技能
9.5.1矩阵式方法
9.5.2管理人员不能眼高手低
9.6应该由谁来做高级分析工作
9.6.1前后矛盾的地方
9.6.2如何帮助刚刚从事分析工作的新手茁壮成长
9.7IT人员和分析专家为何相处不好
9.8本章小结
第四部分整合：分析文化
第10章促进分析创新
10.1商业需要更多创新
10.2传统的方法阻碍了创新
10.3定义分析创新
10.4在创新分析中使用迭代方法
10.5考虑换个角度
10.6你是否为建立分析创新中心做好了准备
10.6.1 组件1：技术平台
10.6.2 组件2：第三方的产品和服务
10.6.3 组件3：承诺和支持
10.6.4 组件4：强大的团队
10.6.5 组件5：创新委员会
10.6.6 分析创新中心的指导原则
10.6.7 分析创新中心的工作范围
10.6.8 处理失败
10.7本章小结
第11章营造创新和探索的文化氛围
11.1做好准备
11.1.1Crocs和Jibbitz的传说
11.1.2推动创新
11.2关键原则概述
11.2.1 原则1：打破思维定势
11.2.2 原则2：形成连锁反应
11.2.3 原则3：统一行动目标
11.3本章小结
结论：再敢想一些

使用传感器数据
发动机的结构很复杂，有很多移动部件，必须在高温下运转，会经历各种各样的运转状况。因为它们的成本太高，所以期望寿命越长越好。因此，稳定的、可预测的性能就变得异常重要，因为机器的寿命依赖于此。例如，对故障飞机进行保养维修会花掉航空公司或者空军部队一笔不小的钱，但这种事情我们还必须做，因为我们要识别出飞机是否存在安全隐患。因此，飞机或者飞机发动机以及其他设备的停机时间一定要降到最低，航空公司或者空军部队对此都有非常迫切的需求。
停机时间最小化策略包括准备备件或后备发动机快速割接时需要维修的设备、从诊断结果中快速识别需要更换的部件、针对问题部件投资开发更可靠的新版本。要想有效实施这3种策略，必须得有数据。我们要用数据生成诊断算法，或者用数据作为输入来诊断某个特定的问题。工程部门可以使用传感器数据准确地定位问题的原因，设计新的措施支持更长、更可靠的操作。不管发动机是飞机的，还是船只的，或者是陆地设备的，这些考虑因素都适用。
通过提取和分析详细的发动机运转数据，我们可以精确地定位那些会导致立即失效的某些模式。然后我们就能识别出会降低发动机寿命的时间分段模式以及更加频繁的维修。多个变量的排列组合数目，特别是一段时间内的排列组合数目，使得这类数据分析活动变成了一项挑战。这个过程不仅会涉及到大数据，就连随之开发出来的分析也会变得异常复杂和困难。以下是我们可以研究的一些问题。

你收到一封邮件，邮件中提供了一套个人电脑的报价。而你几个小时前刚刚在这家零售商的网站上搜索过电脑的信息，似乎它们已经读出了你的想法……当你驱车前往这家商店购买这套个人电脑时，你路过了一家咖啡店，你看到了这家咖啡店的一条折扣信息。你获知由于你刚来到这片区域，你可以在未来20分钟内享受10%的折扣……
在你享用咖啡的时候，你收到了一家制造商关于某产品的道歉，而你昨天刚刚在你的Facebook主页和这家公司的网站上抱怨了它们的产品……
最后，当你回到家之后，你又收到了一条关于购买你最喜欢的在线视频游戏升级装备的信息。有了这些装备，你才能顺利通过某些你曾经苦苦挣扎的关卡……
听起来很疯狂吗？难道这些事情都是在很远的未来才发生的吗？不，这些场景都是我们今天可能见到的！大数据、高级分析、大数据分析，似乎今天你已经逃脱不了这些术语了。无论在哪里，你都会听到人们在讨论大数据和高级分析，看到关于它们的文章或是宣传推销它们。好了，现在你也可以将这本书加入关于它们的讨论中了。
什么是真实的，什么是炒作？这些关注可能会使你怀疑大数据分析是一种炒作，而非真实的东西。尽管在过去的几年曾经有不少被炒作的概念，然而就分析能力和处理海量数据而言，我们确实处在一个转型的年代。如果你肯花一些时间来理清并过滤掉那些有时被媒体过分炒作的部分，你会发现大数据背后有一些非常真实和强大的东西。随着时间的推移，大数据分析会使企业和消费者都获益，而收益带来的兴奋和期待又会继续引发更多的炒作。
大数据是下一波新数据源的浪潮，并会驱动分析在商业、政府及教育界的下一次革新。这些革新将有可能快速地改变企业审视它们自身业务的方式。大数据分析可以促成更加明智的决策，在某些情况下，促成这些决策的方式将明显不同于今天。它带来的很多洞察在今天看起来都像是在做梦。你会看到，征服大数据的需求和一直以来征服新数据源的需求在很大程度上是一致的。然而，大数据的额外规模必须使用新的工具、技术、方法和流程。传统的分析方法已经不再适用于新的环境，我们有必要使用高级分析将商业界带入更高的层次。这就是这本书要讲的内容。
“驾驭大数据”并不只是本书的书名，而是下一个十年中，决定哪些商业活动将振兴，而哪些商业活动将消亡的决定性因素。准备主动接受大数据，企业可以通过驾驭大数据浪潮而取得成功，而不是遭受大数据浪潮连绵不断的拍打。你需要了解些什么？你如何为征服大数据做准备？你如何从大数据中获得振奋人心的分析结果？坐下来，找一个舒服的姿势，准备好发现大数据的秘密！
读者对象
这些年来有无数关于高级分析的书籍问世，最近也开始有关于大数据的书籍出现。本书是从一个与其他书籍不同的角度来看大数据的，主要帮助读者理解什么是大数据，如何通过分析来利用大数据，以及在如今的大数据环境中，如何处理世界范围内的高级分析生态系统的创新和变革。大部分读者都将发现这本书有价值且充满趣味。无论你是分析专家，还是使用分析结果的商人，或者只是对大数据和高级分析感兴趣的人，这本书都有适合你阅读的内容。
本书并不会深入介绍它所涉及主题的技术细节。本书的技术高度刚刚能够让读者从高层次来理解其所讨论的概念。本书的目的是使读者可以理解，并开始运用这些概念，以及帮助他们认识在哪些方面还需要更加深入的研究。这本书更像是一本手册而非教科书，完全可以被非技术人员理解和掌握。同时，那些对这些主题已经有深入了解的读者，也可以从本书的一些讨论中获得一些技术方面更深层次的启示。
内容提要
本书由四部分组成，每一部分都从一个方面来介绍如何驾驭大数据浪潮。第一部分将介绍什么是大数据，大数据为什么重要，以及如何应用大数据。第二部分集中介绍那些能够用于分析和操作大数据的工具、技术和方法。第三部分介绍如何使分析专家、分析团队以及所需的分析原则更加高效。第四部分将前三部分结合在一起，重点介绍了如何通过分析创新中心使得分析更加有创造力，以及如何改变分析文化。以下是关于各章节所涉及内容的详细提纲。
第一部分 大数据的兴起
第一部分重点介绍了什么是大数据，大数据为什么重要，以及分析大数据可以带来什么好处。本部分覆盖了10种类型的大数据源，以及如何利用这些资源来帮助企业提高其业务水平。如果读者拿起这本书时，还不知道什么是大数据，以及大数据的应用有多么广泛，那么第一部分会帮助你了解这部分内容。
第1章 什么是大数据，大数据为什么重要
本章首先介绍了大数据的背景知识，以及大数据到底是关于什么的。然后给出了一些企业如何利用大数据的案例。如果读者想要帮助他们的企业驾驭大数据浪潮，那么请首先理解本章所讲的内容。
第2章 网络数据：原始的大数据
如今，或许应用最为广泛并为人们所熟知的大数据源是从互联网网站上收集来的详细数据。用户浏览互联网所产生的日志信息，是等待分析和挖掘的信息宝库。不同行业的企业都将从它们网站上收集到的详细用户信息整合到它们的企业业务分析中。本章将探索这些数据将如何增强和改变一系列的商务决策。
第3章 典型大数据源及其价值
在本章中，我们将从高层次来探索9种大数据源。其目的是介绍每种数据源，并讨论每种数据源在商业中的应用和启示。一些本质相同的技术应用在不同的行业中，以产生多种大数据源，这个趋势已经越来越明显。另外，不同的行业可以利用一些相同的大数据源，大数据并非只能用于某些狭窄的领域。
第二部分 驾驭大数据：技术、过程以及方法
第二部分将集中介绍用于驾驭大数据的技术、过程以及方法。这些年取得的重大进展增加了这3个方面的可扩展性。企业不能继续依赖外部的方法和专家来保持它们在大数据世界中的竞争力。本书的这一部分将是技术性最强的一部分，但仍然可以被绝大多数的读者所理解和接受。读完这些章节后，读者将熟悉他们今后进入大数据分析领域时可能遇到的一系列概念。
第4章 分析可扩展性的演进
在每一个时期，数据的高速增长使得当时最具可扩展性的工具也只能疲于应付。在大数据出现之前，传统的高级分析方法已经到达了它们的瓶颈。如今，传统的方法已经不再适用。本章将讨论分析和数据环境的融合、海量并行处理（MPP）体系、云、网格计算，以及MapReduce技术。这些技术增强了可扩展性，并且在大数据分析中扮演着重要角色。
第5章 分析流程的演进
为了更好地利用被极大增强的可扩展性，分析流程也需要进行升级。本章将首先概述如何利用分析沙箱为分析专家提供一个可扩展的环境，从而建立高级分析流程。然后，我们将介绍企业分析数据库如何帮助在创建分析数据时，获得更高的一致性并减小风险，同时提高分析专家的生产效率。本章最后将探讨如何使用嵌入式评分过程将高级分析流程部署和转移到用户端和应用端。
第6章 分析工具和方法的演进
本章将介绍一些高级分析方法演进的过程，以及这些改进将如何继续改变分析专家完成工作和处理大数据的方式。讨论的主题将包括视觉角度、点击界面、分析解决方案、开源工具，以及数据可视化工具的演进。本章也讲述了分析专家将如何改变他们建模的方法，以便更好地利用可用资源。讨论的主题包括组合模型、简易模型以及文本分析。
第三部分 驾驭大数据：人和方法
第三部分重点讨论驾驭大数据的人和他们所属的团队，以及确保他们能够提供优质分析的方法。如何提供优质的分析，包括大数据分析，其关键因素是找到合适的人来掌舵，并且他们能够遵循正确的分析原则。读完这3章后，读者将了解优质分析、优秀的分析专家和分析团队的特质。
第7章 如何提供优质分析
计算统计结果、撰写报告、使用建模算法仅仅是创建一个优质分析众多步骤中的几步。本章首先阐述了一些定义，然后讨论了一系列关于如何创建优质分析的主题。大数据给企业带来了从未处理过的复杂数据组合，将本章讨论的原则牢记在心对驾驭大数据非常关键。
第8章 如何成为优秀的分析专家
数学、统计学以及编程方面的能力是必要的，但对于一个优秀的分析专家来说，仅仅具备这些技能还不够。优秀的分析专家还需要具备一些人们通常不会首先想到的特质。这些特质包括承诺、创造力、商业头脑、演讲能力与沟通技巧以及直觉。本章将探讨在寻找一个优秀的分析专家时，这些特质为什么非常重要且不能被忽视。
第9章 如何打造优秀的分析团队
企业如何打造一个高级分析团队，并使其发挥最优效果？把他们放在企业的什么位置最合适？这些团队如何运转？谁来创建高级分析？本章将讨论建立一个优秀的分析团队时必须考虑的一些常见挑战和原则。
第四部分 整合：分析文化
第四部分将介绍一些著名的基本原则，企业想利用高级分析和大数据进行成功创新必须遵循这些原则。尽管这些原则也被广泛地应用于其他领域，但我们的焦点和视角是这些原则将要如何应用于当前企业环境的高级分析中。读者可能已经比较熟悉所涉及的这些概念，但是对于如何将它们应用到高级分析和大数据中，也许还是很陌生的。
第10章 促进分析创新
本章从回顾一些成功创新背后的基本原则开始，然后通过分析创新中心的概念将它们应用到大数据和高级分析中。我们的目标是能够让读者清楚地理解如何在企业中更好地促进分析创新，并驾驭大数据。
第11章 营造创新和探索的文化氛围
本章将介绍如何营造创新和探索的文化氛围作为本书的结尾。本章的文字有趣而轻松，并给如何营造出有利于促进创新分析的文化氛围留出了一些思考空间。这些涉及的原则被广泛地讨论，并被大家熟知。但是，这些原则仍然值得回顾，并且需要思考企业如何将这些确立的原则应用到大数据和高级分析中。