胸有成竹!数据分析的SPSS和SAS EG进阶（第2版）

“CDA数据分析师系列丛书”依照数据分析师规范化学习体系而定。满足了CDA数据分析师等级认证学习的需要，也兼顾了大数据的热点动态。

从策划之初一直坚持以“读者需求”为主线，结合企业实际案例和业务场景来谈大数据思维和小数据分析。实现技术扎实，业务精通，策略接地气！

《胸有成竹!数据分析的SPSS和SAS EG进阶（第2版）》共5 章，涉及使用SPSS Statistics 和SAS EG 做商业数据分析的主要分析方法。其中，第1章的主要内容为数据分析方法概述；第2 章至第4 章的主要内容为横截面数据分析方法；第5 章的主要内容为时间序列分析方法。每章都根据所涉及的知识点的不同，选取了实用的案例，并为读者准备了相应的思考和练习题。

《胸有成竹!数据分析的SPSS和SAS EG进阶（第2版）》是一本面向商业数据分析初学者的教材，从具体的商业数据分析案例入手，使读者掌握数据分析的目的、理念、思路与分析步骤。本书力图淡化技术，对于方法的介绍也尽量避免涉及过多的数学内容，和高等数学相关的内容只在线形回归和主成分分析这两节中涉及到，而且都辅以图形作形象的展现。因此本书的读者只需要具有高中水平的数学基础即可。

经管之家（www.jg.com.cn）：原人大经济论坛，于2003年成立，致力于推动经管学科的进步，传播优秀教育资源，目前已经发展成为国内优秀的经济、管理、金融、统计类的在线教育和咨询网站，也是国内活跃和具影响力的经管类网络社区。

经管之家从2006年起在国内开展数据分析培训，累计培训学员数万人。在大数据的趋势背景下，创新“CDA数据分析师”品牌，致力于为社会各界数据分析爱好者提供优质、科学、系统的数据分析教育。截至2016年3月已成功举办40多期系统培训，培训学员达3千余名；CDA认证考试已成功举办三届，报考人数上千人；中国数据分析师俱乐部（CDA CLUB），每周线下免费沙龙活动，已举力40多期，累积会员2千余名；中国数据分析师行业峰会（CDASummit），一年两届，参会人数皆达2千余名，在大数据领域影响力超前。“CDA数据分析师”队伍在业界不断壮大，对数据分析人才产业起到了巨大的推动作用。

常国珍，北京大学商学博士，法学硕士。曾就职于亚信科技BOC部门、方正国际金融事业部、德勤管理咨询信息技术系统咨询部。SAS公司资深讲师，Oracle大数据讲师，多家金融信息部门和金融高科技公司数据挖掘技术顾问。从事征信数据集市与信用风险建模、客户价值提升等数据挖掘项目。擅长基于个体行为分析的价值发现和信用建模。研究方向为宏微观接合研究，兴趣点在于宏观环境变化对微观主体行为的经济后果分析及价值投资。

赵仁乾，北京邮电大学管理科学与工程硕士，现就职于北京电信规划设计院，从事移动、联通集团及各省分公司市场、业务、财务规划，经济评价及运营咨询。重点研究方向包括离网用户挖掘、市场细分与精准营销、移动网络价值区域分析、潜在价值客户挖掘等。

曾珂，华中师范大学管理科学与工程硕士，现就职于经管之家CDA数据分析研究院，从事互联网、电子商务方向数据分析与数据挖掘的研究，CDA数据分析师的教学工作，研究方向为网络文本挖掘、电商市场细分与客户细分、潜在价值客户挖掘、互联网大数据挖掘等。

第1 章数据分析方法概述 1

1.1 数据分析概述.. 2

1.1.1 数据分析过程 2

1.1.2 数据分析的商业驱动 3

1.2 数据分析与挖掘方法分类介绍. 5

1.2.1 描述性——无监督的学习. 7

1.2.2 预测性——有监督的学习.. 10

1.3 数据分析的方法论. 12

1.3.1 数据挖掘的项目管理方法论：CRISP-DM 13

1.3.2 数据整理与建模的方法论：SEMMA .. 14

1.3.3 SAS EG 和SPSS 任务菜单编排与SEMMA 之间的关系. 16

第2 章描述数据特征.. 19

2.1 认识数据类型 20

2.2 单变量描述统计方法 21

2.2.1 分类变量的描述 21

2.2.2 连续变量的描述 22

2.3 创建频数报表 35

2.4 生成汇总统计量.. 38

2.5 用汇总表任务生成汇总报表 41

2.6 绘制条形图. 46

2.7 绘制地图.. 53

2.8 使用SPSS 进行描述统计.. 55

2.8.1 频率过程.. 56

2.8.2 描述过程.. 57

2.8.3 探索过程.. 58

2.8.4 P-P 图与Q-Q 图 58

2.9 使用SPSS 绘制统计图形.. 60

2.9.1 作图方法.. 60

2.9.2 饼图、柱图与条图.. 64

2.9.3 线图、高低图和双轴图 70

2.9.4 散点图 73

第3 章描述性数据分析/挖掘方法. 75

3.1 客户细分方法介绍. 76

3.1.1 客户细分的意义 76

3.1.2 根据客户利润贡献进行划分. 77

3.1.3 根据个人或公司的生命历程进行划分 78

3.1.4 根据客户的产品偏好进行划分 79

3.1.5 根据客户交易/消费行为进行划分. 80

3.1.6 根据客户的多维行为属性细分 81

3.1.7 展现客户/产品结构的战略细分.. 81

3.1.8 客户细分：综合运用. 82

3.2 连续变量间关系探索与变量约减. 82

3.2.1 多元统计基础. 82

3.2.2 多元变量压缩的思路. 87

3.2.3 主成分分析.. 89

3.2.4 因子分析. 103

3.2.5 对应分析. 112

3.2.6 最优尺度分析.. 119

3.2.7 多维尺度分析.. 124

3.3 聚类分析 133

3.3.1 基本逻辑. 134

3.3.2 系统聚类. 135

3.3.3 快速聚类. 146

3.3.4 两步聚类. 155

第4 章预测性数据分析方法.. 161

4.1 假设检验概念. 162

4.1.1 统计推断基本概念 164

4.1.2 变量分布的图形探索.. 165

4.1.3 均值的置信区间. 167

4.1.4 假设检验基础.. 168

4.1.5 T 检验. 169

4.2 构造对连续变量的预测模型. 174

4.2.1 方差分析（ANOVA） 174

4.2.2 线性回归. 190

4.2.3 线性回归的模型诊断.. 203

4.2.4 线性回归的全流程 211

4.3 构造对二分类变量的预测模型 217

4.3.1 分类变量之间的相关性检验.. 217

4.3.2 逻辑回归. 224

第5 章时间序列.. 240

5.1 时间序列的趋势分解法 241

5.1.1 趋势分解法简介. 241

5.2.2 使用SAS EG 进行时间序列趋势分解.. 242

5.2.3 使用SPSS 进行时间序列趋势分解 244

5.2 平稳时间序列（ARMA）模型设定与识别. 245

5.2.1 平稳时间序列定义 245

5.2.2 平稳时间序列模型建模. 246

5.2.3 ARMA 的模型设定与识别.. 247

5.3 非平稳时间序列（ARIMA）模型设定与识别.. 250

5.4 SAS EG 时间序列建模步骤.. 252

5.5 SPSS 时间序列建模步骤. 258

5.5.1 SPSS 构造ARIMA 模型使用的任务菜单.. 258

5.5.2 “定义日期”任务.. 260

5.5.3 “序列图”任务 261

5.5.4 “自相关”任务 262

5.5.5 “创建模型”任务.. 263

5.5.6 “使用模型”任务.. 267

5.5.7 其他内容. 267

附录A 数据说明.. 271

附录B CDA 数据分析师致力于最好的数据分析人才建设.. 278

参考文献 282

数据分析过程

数据分析的目的是为业务发展答疑解惑。他描述了“过去发生了什么”、“现在正在发生什么”和“未来可能发生什么”。根据分析的级别，分为常规报表、即席查询、多维分析（又称为钻取或者OLAP）、警报、统计分析、预报（或者时间序列预测）、预测型建模（预测性（predictive）模型）和优化

（1）常规报表：常规报表广为人知，它们通常按照一定的周期产生，对过去一段时间、一定范围内所发生的事实进行记录。它们对了解业务现状非常有用，但是却无法据此进行长期决策。标准报表主要用于回答“发生了什么”和“什么时候发生”这样的问题。典型的标准报表包括月度或季度的财务报告。

（2）即席查询：即席查询往往通过对一系列数据（组合）的要求来“回答”一些常见的业务问题。即席报表主要用于解决类似“多少”、“频次如何”和“在哪里”这样的问题。记录每种产品每天销量的定制报表就属于即席报表。

（3）多维分析（又称为钻取或者OLAP 技术）：OLAP 技术可以帮助了解更多细节信息，它可以帮助客户自己操纵数据，找出诸如“多少”、“什么”和“哪里”之类问题的答案。OLAP 技术主要解决的是“问题出在哪里”和“我如何找到问题的答案”这样的问题。例如，对不同类型的客户通话行为进行排序，找出他们的通话特征就需要运用到OLAP 技术。

（4）警报：当问题发生时你可以通过告警及时获知，并且可以在将来发生类似情况时引起注意。告警可以通过电子邮件、网络频道、记分卡或者仪表盘的形式给出。警报的过程需要确认的是引起注意的触发点，以及一旦报警需要采取什么行动。比如，销售总监在销售情况与销售目标差距大时会收到告警信息。

（5）统计分析：我们可以运行一些更加复杂的分析。例如，方差分析和回归分析等。我们可以

基于数据提出一些假设，然后再利用数据构建统计分析模型来“回答”这些假设是否成立。统计分析解决的问题主要是“行为/事件为什么发生”和“我失去了怎样的机会”。例如，银行希望了解什么样的人，更可能对他们的房子进行转按揭操作，那么他们就会用到统计分析的方法。

（6）预报（或者时间序列预测）：它能够帮助建立恰当的库存，防止脱销和积压库存带来的机会流失或额外成本。时间序列预测主要解决的问题是“未来的趋势会怎样”和“如果这样的趋势继续会怎样”。例如，零售商可以根据销售历史，预测未来特定店铺的特定产品的销售量，而这样的预测过程就是时间序列预测。

（7）预测型建模（预测性模型）：如果你有1000 万个客户需要做一次直邮，谁最有可能响应？怎样对现有客户进行有效分群？哪些客户最可能流失？预测性模型可以回答这类问题。预测性模型主要关心的是将来可能发生的情况，以及不同的预测情况对业务的影响。例如，商户可以预测客户可能会对哪种产品更有兴趣，以及哪些客户会对特定产品更有兴趣。

（8）优化：优化往往带来创新，它使企业可以在有限资源下实现利润最大化。优化强调的是更好地利用各种资源的途径。例如，在特定资源条件下，如何安排并使利润最大化，就是优化需要解决的问题。

前4 类分析提供了关于以往和当前情况的描述，让业务人员对历史情况有一个深入的认识。但是这往往是不够的，这就像在驾驶的时候只看两边和后视镜，而挡住前面的玻璃，对前面发生的情况一无所知。第5 类到第7 类分析提供了向前看的途径，可以预测未来发展的情况，及早发现问题，做到提前准备。而最后一类分析是在掌握了未来发展状况之后，对业务进行优化，制订最优的决策方案。

从上面介绍中可以看到，数据分析是和业务紧密联系在一起的，其目的就是满足商业决策的需求。这种决策是以事实和数据分析的结果为基础，结合经验和行业的洞察作出决策。在解读和判断数据模型时，需要融入对业务的理解、融入基于经验的灵感，很多时候是无法用单纯的公式或规则来替代人的智慧和艺术灵感的。因此，数据分析是技术与艺术的结合。如果可以量化分析某些问题，那么就去分析，但别忘记加入你的经验、知识和理性的推断。

感谢您选择“CDA 数据分析师”LevelⅠ学习系列丛书”之《胸有成竹！数据分析的SPSS 和SASEG 进阶（第2 版）》。

该丛书按照数据分析师规范化学习体系而定，对于一名初学者，应该先掌握必要的概率、统计理论基础，包括描述性分析、推断性分析、参数估计、假设检验、方差分析、回归分析等内容，这在第一本书《从零进阶！数据分析的统计基础（第2 版）》中进行了专业详细的讲解。其次，数据分析需要按照标准流程进行，即数据的获取、储存、整理、清洗、归约等系列数据处理技术，这在《如虎添翼！数据处理的SPSS 和SAS EG 实现（第2 版）》中利用统计软件和编程技术进行了操作过程的详解。最后，经过处理的数据需要根据业务问题，利用相关方法进行建模分析，得出结果，结果检验，绘制图表并解读数据，这在《胸有成竹！数据分析的SPSS 和SAS EG 进阶（第2 版）》中进行了详细的讲解和操作分析。

CDA 数据分析师丛书整体风格是“理论>技术>应用”的一个学习过程，最终目的在于商业业务应用、职场数据分析，为欲从事于数据分析领域的各界人士提供了一个规范化数据分析师的学习体系。

读者对象

本书是一本面向商业数据分析初学者的教材，从具体的商业数据分析案例入手，使读者掌握数据分析的目的、理念、思路与分析步骤。本书力图淡化技术，对于方法的介绍也尽量避免涉及过多的数学内容，和高等数学相关的内容只在线形回归和主成分分析这两节中涉及到，而且都辅以图形作形象的展现。因此本书的读者只需要具有高中水平的数学基础即可。但是本书强调每种方法的假设、适用条件和与商业数据分析主题的匹配。实践教学中，发现业务经验丰富和有较好商业模式理解的学员，在学习数据分析有更好的效果，这主要原因可能是因为这类学员有较强的思辨能力、分析能力、学习目的性和质量意识，而不是简单的模仿和套用数学公式。

本书以SPSS Statistics(以下简称SPSS) 和SAS Enterprise Guide(以下简称SAS EG)为演示软件，但是操作方法可以方便的转换为其他统计软件，同时也是学习SAS 编程的捷径。

工具介绍

SPSS 作为一个入门级数据分析软件，是每个从业者必会的。其可视化界面可以很好的展现数据分析的流程。但是SPSS 的功能毕竟有限，尤其在数据清洗和整理方面更是捉襟见肘，因此需要和SAS EG 结合使用。SAS EG 是一个以项目为导向的Windows 应用软件，它被用于实现对SAS 系统大多数分析能力的快速访问。它通常会被统计专家、业务分析员以及 SAS 程序员使用。利用SAS多平台的强大能力，SAS EG 能够使用户访问本地或SAS 服务器上的数据、管理数据、编写基本报表和汇总，做基本和复杂的数据分析，运用最高质量的SAS 图形能力，最后将结果输出或发送到SAS服务器或其他基于服务器或Windows 的应用中。在SAS EG 中进行的工作也可以容易地被其他的EG使用者分享。通过生成SAS 代码，大多数在SAS EG 中进行的工作也可以被EG 外部的SAS 使用者共享。

SAS EG 面向企业中数据轻度使用客户，它的同类产品是SPSS。而与R、Stata 和Eviews 等科研教学类软件有明显不同。SAS EG 基本继承了SAS Base 的所有功能，可以方便地调用其他模块的程序。可以说在商业数据分析领域，SAS EG 是SAS Base 的升级换代产品。SAS EG 和SPSS 类似，都是可以直接使用鼠标点击操作的，这降低了使用人员的入门难度，而且记录脚本可以便于使用者学习SAS 语言。它的文档管理功能是目前统计软件中最强大的。其中的流程图使单次分析过程一目了然，这与SPSS 等有明显差别。SPSS 较难记录分析过程，而SAS EG 可以将分析过程记录下来，便于使用者反复使用和组织内部共享分析文档。在统计方法方面，SAS EG 菜单中实现的统计方法少而精炼，满足90%以上的商业分析需求，而且其拓展性强大，可以调用SAS 其他模块的过程，可以实现SPSS 无法很好实现的时间序列和面板数据分析。在和其他软件衔接方面，SAS EG 以SAS Base为基础，而SAS Base 在某些公司作为ETL 工具，可见SAS 具有强大的数据管理功能，可以和企业内部数据库做透明访问。

目前各大金融机构、国有企业和著名外企，尤其是咨询公司都在使用SAS 产品。SAS Base 是面向数据处理程序员的，入门难度较大，只在专门的数据分析部门使用。而SAS EG 的用户多为业务部门的工作人员，入门难度较低。在公司内部培训的过程中，发现公司数据分析人员和业务人员对学习SAS EG 有较大兴趣，部门领导也倾向于让员工多学习SAS EG 的课程。而且SAS 公司也逐步将其部分产品免费化，其中University-Edition 就是一个有益的尝试，其操作方式和SAS EG 类似。相信在统计技能大众化的今天，SAS EG 有着巨大的发展潜力。

当前R 和Python 等开源软件方兴未艾，但是这类软件学习曲线缓慢，使很多初学者的热情在进入数据分析的核心领域之前就已经消逝殆尽。真正商业数据分析的目的是为了业务的分析需求，构造稳健的数据挖掘模型。数据挖掘产品的质量是通过对分析流程的严格掌控而得以保障的。SAS EG产品正是针对分析流程设计的，这对于数据分析初学者大有裨益。而开源软件在这方面基本上没有支持，而要求其使用者具有丰富的实战经验。因此使用SAS EG 这个产品作为演示工具，无论将来读者使用何种分析工具，都可以通过本书的学习获得分析流程的经验。

阅读指南

本书包括5 章，涉及使用SPSS 和SAS EG 做数据分析的主要分析方法。其中，第1 章为数据分析方法概述，第2 章至第4 章为横截面数据分析方法。第5 章为时间序列分析方法。每章都根据所涉及的知识点的不同，选取了实用的案例，并为读者准备了相应的思考和练习题。

详细的章节内容如下。

第1 章数据分析方法概述

数据分析的目的是使工作更有效率、资源分配更合理、对事物的发展脉络更为清晰或是提高对未来预测的准确性。阅读本章可以使读者在具体接触数据分析之前，了解整个数据分析的脉络，明确将要学习的内容。

第2 章描述数据特征

数据统计指标描述是数据分析的重点，对数据的直觉也是通过对数据的探索建立起来的。数据可视化则是将统计指标转换成图形和图表。通过本章的学习，读者可以掌握完成一份市场分析报告的基本技能。

第3 章描述性数据分析方法

该部分是上一章的自然延伸，是大数据背景之下描述类数据分析方法的主要手段。分别针对变量过多和观测样本过多这两个问题，进行变量和观测这两个维度的信息压缩。通过本章的学习，可以完成客户画像、因素分析、客户感知图等较高质量的分析报告。

第4 章预测性数据分析方法

传统意义上的数据分析建模特指预测性数据分析。在完成本章的学习之后，对于横截面数据分析方法就算结束了。通过本章的学习，可以构造精细的精准营销、流失预警和信用评级等分类模型。

第5 章时间序列

本章主要介绍两种单变量时间序列分析方法。分别是趋势分解法和基于动态差分方程的ARIMA法。对于非统计学背景的读者，只要学会分析软件提供的图表就可以掌握该分析方法，满足一般的商业指标预测需要。

为方便读者学习，本书提供了书中实例的源文件下载，请读者进入经管之家（https://bbs.pinggu.org/），注册后搜索“CDA 教材源文件”关键词下载相应的源文件。

本书特点

本书作为市场上第一本使用SPSS 和SAS EG 面向商业数据分析的书籍，和其他统计软件图书有

很大的不同，文体结构新颖，案例贴近实际，讲解深入透彻。主要表现在以下几方面：

场景式设置

本书从实际电信、银行等商业案例中进行精心归纳、提炼出各类数据分析的运用场景，方便读者搜寻与实际工作相似的问题。

开创式结构

本书案例中的“解决方案”环节是对问题的思路解说，结合“操作方法”环节中的步骤让人更容易理解。“原理分析”环节则主要解释所使用代码的工作原理或者详细解释思路。“知识扩展”环节包括与案例相关的知识点的补充，可拓展读者的视野，同时也有利于理解案例本身的解决思路。

启发式描述

本书注重培养读者解决问题的思路，以最朴实的思维方式结合启发式的描述，帮助读者发现规律、总结规律和运用规律，从而启发读者快速找出问题的解决方法。

学习方法

俗话说打把势全凭架势，像不像，三分样。只有对分析的流程熟悉了，才能实现从模仿到灵活运用的提升。在产品质量管理方面，对流程的掌控是成功的关键，在数据分析当中，流程同样是重中之重。数据分析是一个先后衔接的过程，一个步骤的失误会带来完全错误的结果。一个分析的流程大致包括抽样、数据清洗、数据转换、建模和模型评估这几个步骤。如果抽样中的取数逻辑不正确，就有可能使因果关系倒置，得到完全相反的结论。数据转换方法如果选择不正确，模型就难以得到预期的结果。而且，数据分析是一个反复试错的过程，每一步都要求有详细的记录和操作说明，否则分析人员很可能迷失方向。

学习数据分析最好的方法就是动手做一遍，本书语言通俗但高度凝炼，很少有公式，这会让读者产生麻痹大意的思想，如果不动手做一遍，很难体会到书中表述的思想。本书按照相关商业数据分析主题提供了相应的演练用数据，也同时给出了相关方面的参考资料，供学员学习。

售后服务

本书读者可以在经管之家的“数据挖掘与商业智能（https://bbs.pinggu.org/forum-133-1.html）”版块就书中的问题进行提问，也欢迎大家就自己遇到的业务问题和大家讨论。同时，也可以向作者发邮件，作者邮箱为guozhen.c@gmail.com。

致谢

本书由经管之家策划，常国珍和赵仁乾负责编写和完成统稿。

丛书从策划到出版，倾注了电子工业出版社计算机图书分社张慧敏、石倩、王静、张童等多位编辑的心血，特在此表示衷心的感谢！

为保证丛书的质量，使其更贴近读者，我们组织了经管之家的多位版主和高级会员参与了本书的预读工作，他们是种法辉、丁亚军、关继杰、殷子涵。感谢各位预读员的辛勤、耐心与细致，使得本丛书能以更加完善的面目与各位读者见面，特别感谢覃智勇圆满地组织了本次预读工作和审校工作。

尽管作者们对书中的案例精益求精，但疏漏仍然在所难免，如果您发现书中的错误或某个案例有更好的解决方案，敬请登录社区网站向作者反馈，我们将尽快在社区中给出回复，且在本书再次印刷时修正。

再次感谢您的支持！