Hadoop大数据分析与挖掘实战

10余位大数据领域资深专家和科研人员，结合10余年大数据挖掘咨询与实施经验，手把手教你从海量数据中淘金。
从大数据挖掘的应用出发，以电力、航空、医疗、互联网、制造、电信等行业真实案例为主线，详细讲解了数据挖掘建模的过程和数据挖掘的二次开发。
大数据时代来临了，“码农”也能自由、富足、傲娇地活着。
大数据分析与挖掘已经成为大数据时代重要的技能之一，社会对这方面的人才的需求随着数据的增长而不断增长。目前，数据分析与挖掘方面的技术和工具已经很多，而且在不断成熟，基于Hadoop架构的大数据挖掘技术在这方面具有非常明显的优势，应用范围也越来越广，但是这方面的系统性学习资料却十分稀缺。
为了满足目前的大数据分析人才需求，本书以大家熟知的Hadoop技术来展开，理论部分介绍了Hadoop生态系统基本原理及常用大数据挖掘建模工具。案例部分以解决某个应用的挖掘目标为前提，先介绍案例背景提出挖掘目标，再阐述分析方法与过程，最后完成模型构建，在介绍建模过程中穿插操作训练，把相关的知识点嵌入相应的操作过程中，使读者轻松理解并掌握相关的理论和知识点。

10多位技术专家结合自己10多年的经验，以电信、航空、医疗等多个行业的实战案例为主线，深入浅出地讲解了如何基于Hadoop架构技术进行大数据挖掘建模、数据分析和二次开发。
本书共16章，分三个部分：基础篇、实战篇、高级篇。
基础篇（第1~6章），第1章的主要内容是数据挖掘概述、大数据餐饮行业应用；第2章针对大数据理论知识进行基础讲解，简明扼要地对Hadoop安装、原理等做了介绍；第3章介绍了大数据仓库Hive的安装、原理等内容；第4章介绍了大数据数据库HBase的安装、原理等内容；第5章介绍了几种大数据挖掘建模平台，同时重点介绍了本书使用的开源TipDM-HB大数据挖掘平台；第6章对数据挖掘的建模过程，各种挖掘建模的常用算法与原理及其在大数据挖掘算法库Mahout的实现原理进行了介绍。
实战篇（第7~14章），重点对大数据挖掘技术在法律咨询、电子商务、航空、移动通信、互联网、生产制造以及公共服务等行业的应用进行了分析。在案例结构组织上，本书是按照先介绍案例背景与挖掘目标，再阐述大数据时代针对大数据的分析方法与过程，最后完成模型构建的顺序进行，对建模过程等关键环节进行了详细的分析。最后通过上机实践，加深对大数据挖掘技术以及分析流程的认识。
高级篇（第15~16章），介绍了基于Hadoop大数据开发的相关技术以及开发步骤，同时使用实例来展示这些步骤，使读者可以自己动手实践，亲自体会开发的乐趣；同时，还介绍了基于TipDM-HB大数据挖掘平台的二次开发实例，借助TipDM-HB大数据挖掘平台二次开发工具，可以更加快捷、高效地完成相关大数据应用的二次开发，降低开发难度，使读者更方便地体会到大数据分析与挖掘的强大魅力。
图书配套提供原始样本数据文件、相关代码及教学用PPT等。

张良均，资深大数据挖掘专家和模式识别专家，高级信息项目管理师，有10多年的大数据挖掘应用、咨询和培训经验。为电信、电力、政府、互联网、生产制造、零售、银行、生物、化工、医药等多个行业上百家大型企业提供过数据挖掘应用与咨询服务，实践经验非常丰富。此外，他精通Java EE企业级应用开发，是广东工业大学、华南师范大学、华南农业大学、贵州师范学院、韩山师范学院、广东技术师范学院兼职教授，著有《神经网络实用教程》、《数据挖掘：实用案例分析》、《MATLAB数据分析与挖掘实战》《R语言数据分析与挖掘实战》《Python数据分析与挖掘实战》等畅销书

前言
基础篇
第1章数据挖掘基础2
1.1某知名连锁餐饮企业的困惑2
1.2从餐饮服务到数据挖掘3
1.3数据挖掘的基本任务4
1.4数据挖掘建模过程4
1.4.1定义挖掘目标4
1.4.2数据取样5
1.4.3数据探索6
1.4.4数据预处理12
1.4.5挖掘建模14
1.4.6模型评价14
1.5餐饮服务中的大数据应用15
1.6小结15
第2章Hadoop基础16
2.1概述16
2.1.1Hadoop简介16
2.1.2Hadoop生态系统17
2.2安装与配置19
2.3Hadoop原理26
2.3.1Hadoop HDFS原理26
2.3.2Hadoop MapReduce原理27
2.3.3Hadoop YARN原理28
2.4动手实践30
2.5小结33
第3章Hadoop生态系统：Hive34
3.1概述34
3.1.1Hive简介34
3.1.2Hive安装与配置35
3.2Hive原理38
3.2.1Hive架构38
3.2.2Hive的数据模型40
3.3动手实践41
3.4小结45
第4章Hadoop生态系统：HBase46
4.1概述46
4.1.1HBase简介46
4.1.2HBase安装与配置47
4.2HBase原理50
4.2.1HBase架构50
4.2.2HBase与RDBMS51
4.2.3HBase访问接口52
4.2.4HBase数据模型53
4.3动手实践54
4.4小结61
第5章大数据挖掘建模平台62
5.1常用的大数据平台62
5.2TipDM-HB大数据挖掘建模平台63
5.2.1TipDM-HB大数据挖掘建模平台的功能63
5.2.2TipDM-HB大数据挖掘建模平台操作流程及实例65
5.2.3TipDM-HB大数据挖掘建模平台的特点67
5.3小结68
第6章挖掘建模69
6.1分类与预测69
6.1.1实现过程69
6.1.2常用的分类与预测算法70
6.1.3决策树71
6.1.4Mahout中Random Forests算法的实现原理75
6.1.5动手实践79
6.2聚类分析83
6.2.1常用聚类分析算法83
6.2.2K-Means聚类算法84
6.2.3Mahout中K-Means算法的实现原理88
6.2.4动手实践90
6.3关联规则93
6.3.1常用的关联规则算法93
6.3.2FP-Growth关联规则算法94
6.3.3Mahout中Parallel Frequent Pattern Mining算法的实现原理98
6.3.4动手实践100
6.4协同过滤102
6.4.1常用的协同过滤算法102
6.4.2基于项目的协同过滤算法简介102
6.4.3Mahout中Itembased Collaborative Filtering算法的实现原理103
6.4.4动手实践106
6.5小结109
实战篇
第7章法律咨询数据分析与服务推荐112
7.1背景与挖掘目标112
7.2分析方法与过程114
7.2.1数据抽取120
7.2.2数据探索分析120
7.2.3数据预处理125
7.2.4模型构建130
7.3上机实验139
7.4拓展思考140
7.5小结145
第8章电商产品评论数据情感分析146
8.1背景与挖掘目标146
8.2分析方法与过程146
8.2.1评论数据采集147
8.2.2评论预处理150
8.2.3文本评论分词155
8.2.4构建模型155
8.3上机实验167
8.4拓展思考168
8.5小结169
第9章航空公司客户价值分析170
9.1背景与挖掘目标170
9.2分析方法与过程171
9.2.1数据抽取174
9.2.2数据探索分析174
9.2.3数据预处理175
9.2.4模型构建177
9.3上机实验182
9.4拓展思考183
9.5小结183
第10章基站定位数据商圈分析184
10.1背景与挖掘目标184
10.2分析方法与过程186
10.2.1数据抽取186
10.2.2数据探索分析187
10.2.3数据预处理188
10.2.4构建模型191
10.3上机实验194
10.4拓展思考195
10.5小结195
第11章互联网电影智能推荐196
11.1背景与挖掘目标196
11.2分析方法与过程197
11.2.1数据抽取199
11.2.2构建模型199
11.3上机实验201
11.4拓展思考202
11.5小结203
第12章家电故障备件储备预测分析204
12.1背景与挖掘目标204
12.2分析方法与过程206
12.2.1数据探索分析207
12.2.2数据预处理209
12.2.3构建模型212
12.3上机实验216
12.4拓展思考217
12.5小结217
第13章市供水混凝投药量控制分析218
13.1背景与挖掘目标218
13.2分析方法与过程220
13.2.1数据抽取221
13.2.2数据探索分析221
13.2.3数据预处理223
13.2.4构建模型227
13.3上机实验237
13.4拓展思考238
13.5小结239
第14章基于图像处理的车辆压双黄线检测240
14.1背景与挖掘目标240
14.2分析方法与过程241
14.2.1数据抽取242
14.2.2数据探索分析242
14.2.3数据预处理242
14.2.4构建模型249
14.3上机实验250
14.4拓展思考250
14.5小结251
高级篇
第15章基于Mahout的大数据挖掘开发254
15.1概述254
15.2环境配置255
15.3基于Mahout算法接口的二次开发258
15.3.1Mahout算法实例258
15.3.2Mahout算法接口的二次开发示例259
15.4小结271
第16章基于TipDM-HB的数据挖掘二次开发272
16.1概述272
16.1.1TipDM-HB大数据挖掘建模平台服务接口272
16.1.2Apache CXF简介276
16.2TipDM-HB大数据挖掘建模平台服务开发实例277
16.2.1环境配置277
16.2.2开发实例280
16.3小结288
参考资料289

为什么要写这本书
到2012年为止，Farecast系统用了将近十万亿条价格记录来帮助预测美国国内航班的票价。Farecast票价预测的准确度已经高达75%，使用Farecast票价预测工具购买机票的旅客，平均每张机票可节省50美元维克托·迈尔·舍恩伯格.大数据时代-生活、工作与思维的大变革.2012。
Farecast是大数据公司的一个缩影，也代表了当今世界发展的趋势。但与国外相比，我国由于信息化程度不太高，企业内部信息不完整，零售业、银行、保险、证券等对大数据分析与挖掘的应用并不太理想。但随着市场竞争的加剧，各行业对大数据分析与挖掘技术的研究与应用意愿越来越强烈，可以预计，未来几年，各行业的数据分析一定都是大规模的数据挖掘与应用。在大数据时代，数据过剩、人才短缺，数据挖掘专业人才的培养又需要专业知识和职业经验积累。所以，本书在注重大数据时代数据挖掘理论的同时，也注意与大数据项目案例实践相结合，这样可以让读者体验真实的大数据挖掘学习与实践环境，更快、更好地学习大数据分析与挖掘知识以及积累职业经验。
总地来说，随着大数据时代的来临，大数据分析与挖掘技术将具有越来越重要的战略意义。大数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产要素，人们对于海量数据的运用将预示着新一轮生产率增长和消费者盈余浪潮的到来。大数据分析与挖掘技术将帮助企业用户在合理时间内攫取、管理、处理、整理海量数据，为企业经营决策提供积极的帮助。大数据分析与挖掘作为数据存储和挖掘分析的前沿技术，广泛应用于物联网、云计算、移动互联网等战略性新兴产业。虽然大数据目前在国内还处于初级阶段，但是其商业价值已经显现出来，特别是有实践经验的大数据分析人才更是各企业争夺的热门资源。
大数据时代来临，风云变化，时不我待！
本书特色
本书作者从实践出发，结合大量大数据挖掘工程案例及教学经验，以真实案例为主线，深入浅出介绍大数据挖掘项目中针对数据分析的各个流程：数据探索、数据预处理、分类与预测、聚类分析、关联规则挖掘、智能推荐等。因此，图书的编排以解决某个大数据应用的挖掘目标为前提，先介绍案例背景提出挖掘目标，再阐述针对这个目标使用的大数据挖掘分析方法与过程，最后完成模型构建，在介绍建模过程中会针对每个大数据项目的特点进行分析，同时提供上机实验，把相关的建模操作提供给读者。在本书的高级篇中，介绍大数据挖掘的二次开发实例，方便有能力的读者进行相关二次开发。
根据读者对案例的理解，本书配套提供了真实的原始样本数据文件及建模仿真平台，读者可以从“泰迪杯”全国大学生数据挖掘竞赛网站免费下载。另外，为方便教师授课需要，图书还特意提供了建模阶段的过程数据文件、PPT课件，读者可通过“勘误与支持”中的联系方式咨询或者获取文件。
本书适用对象
开设有大数据挖掘课程的高校教师和学生。
目前国内不少高校将数据挖掘引入本科教学中，在数学、计算机、自动化、电子信息、金融等专业开设了数据挖掘技术相关的课程，但目前这一课程的教学仍然主要限于理论介绍。因为单纯的理论教学过于抽象，学生理解起来往往比较困难，教学效果也不甚理想。本书提供的基于实战案例和建模实践的教学内容，能够使师生充分发挥互动性和创造性，理论联系实际，使师生获得最佳的教学效果。
大数据挖掘开发人员。
这类人员可以在理解大数据挖掘应用需求和设计方案的基础上，结合图书提供的基于第三方接口快速实现大数据挖掘应用的编程。
需求分析及系统设计人员。
这类人员可以在理解数据挖掘原理及建模过程的基础上，结合数据挖掘案例完成精确营销、客户分群、交叉销售、流失分析、客户信用记分、欺诈发现、智能推荐等数据挖掘应用的需求分析和设计。
进行大数据挖掘应用研究的科研人员。
许多科研院所为了更好地对科研工作进行管理，纷纷开发了适应自身特点的科研业务管理系统，并在使用过程中积累了大量的科研信息数据。但是，这些科研业务管理系统一般没有对这些数据进行深入分析，对数据所隐藏的价值并没有进行充分挖掘利用。科研人员需要大数据挖掘建模工具及有关方法论来深挖科研信息的价值，从而提高科研水平。
关注大数据分析的人员。
业务报告和商业智能解决方案对于了解过去和现在的状况可能是非常有用的。但是，数据挖掘的预测分析解决方案还能使这类人员预见未来的发展状况，让他们的机构能够先发制人，而不是处于被动。因为数据挖掘的预测分析解决方案将复杂的统计方法和机器学习技术应用到数据之中，通过预测分析技术来揭示隐藏在交易系统或企业资源计划（ERP）、结构数据库和普通文件中的模式和趋势，从而为决策提供科学依据。
如何阅读本书
本书共16章，分三个部分：基础篇、实战篇、高级篇。基础篇介绍了数据挖掘、Hadoop大数据的基本原理，实战篇通过对案例深入浅出的剖析，使读者在不知不觉中通过案例实践获得大数据项目挖掘分析经验，同时快速领悟看似难懂的大数据分析与挖掘理论知识。读者在阅读过程中，应充分利用随书配套的案例建模数据，借助TipDM-HB大数据挖掘建模平台，通过上机实验，快速理解相关知识与理论。
第一部分是基础篇（第1～6章），第1章的主要内容是数据挖掘概述、大数据餐饮行业应用；第2章针对大数据理论知识进行基础讲解，简明扼要地针对Hadoop安装、原理等做了介绍；第3章介绍了大数据仓库Hive的安装、原理等内容；第4章介绍了大数据数据库HBase的安装、原理等内容；第5章介绍了几种大数据挖掘建模平台，同时重点介绍了本书使用的开源TipDM-HB大数据挖掘平台；第6章介绍数据挖掘的建模过程、各种挖掘建模的常用算法与原理以及挖掘建模在大数据挖掘算法库Mahout中的实现原理。
第二部分是实战篇（第7～14章），重点分析大数据挖掘技术在法律咨询、电子商务、航空、移动通信、互联网、生产制造以及公共服务等行业的应用。在案例结构组织上，按照先介绍案例背景与挖掘目标，再阐述大数据时代针对大数据的分析方法与过程，最后完成模型构建的顺序进行的，详细分析了建模过程关键环节。最后通过上机实践，加深对大数据挖掘案例的认识以及分析流程。
第三部分是高级篇（第15～16章），介绍了基于Hadoop大数据开发的相关技术以及开发步骤，并使用实例来展示这些步骤，使读者可以自己动手实践，亲自体会开发的乐趣；还介绍了基于TipDM-HB大数据挖掘平台的二次开发实例，借助TipDM-HB大数据挖掘平台二次开发工具，可以更加快捷、高效地完成相关大数据应用的二次开发，降低开发难度，使读者更方便地体会到大数据分析与挖掘的强大魅力。
勘误和支持
除封面署名外，参加本书编写工作的还有刘名军、肖刚、云伟标、王路、刘晓勇、薛云、廖晓霞、徐英刚等。由于笔者的水平有限，编写时间仓促，书中难免会出现一些错误或者不准确的地方，恳请读者批评指正。为此，读者可通过笔者微信公众号TipDM、TipDM官网反馈有关问题。也可通过热线电话或企业QQ进行在线咨询或通过扫描以下微信公众号的二维码咨询获取。
读者可以将书中的错误及遇到的任何问题反馈给我们，我们将尽量在线上为读者提供最满意的解答。图书的全部建模数据文件及源程序，可以从全国大学生数据挖掘竞赛网站下载，我们会将相应内容的更新及时发布更正出来。如果您有更多的宝贵意见，欢迎发送邮件至邮箱，期待能够得到您的真挚反馈。
致谢
在本书编写过程中，得到了广大企事业单位科研人员的大力支持！在此谨向中国电力科学研究院、广东电力科学研究院、广西电力科学研究院、华南师范大学、广东工业大学、广东技术师范学院、南京中医药大学、华南理工大学、湖南师范大学、韩山师范学院、中山大学、广州泰迪智能科技有限公司、武汉泰迪智慧科技有限公司等单位给予支持的专家及师生致以深深的谢意。
在本书的编辑和出版过程中还得到了参与“泰迪杯”全国大学生数据挖掘建模竞赛的众多师生及机械工业出版社杨福川、高婧雅等无私的帮助与支持，在此一并表示感谢。
张良均