Pentaho Kettle解决方案：使用PDI构建开源ETL解决方案

本书主要介绍如何使用开源ETL工具来完成数据整合工作。
本书介绍的PDI(Kettle)是一种开源的 ETL 解决方案，书中介绍了如何使用PDI来实现数据的剖析、清洗、校验、抽取、转换、加载等各类常见的ETL类工作。
除了ODS/DW类比较大型的应用外，Kettle 实际还可以为中小企业提供灵活的数据抽取和数据处理的功能。Kettle除了支持各种关系型数据库、HBase、MongoDB这样的NoSQL数据源外，它还支持Excel、Access这类小型的数据源。并且通过插件扩展，Kettle 可以支持各类数据源。本书详细介绍了Kettle可以处理的数据源，而且详细介绍了如何使用Kettle
抽取增量数据。
Kettle 的数据处理功能也很强大，除了选择、过滤、分组、连接、排序这些常用的功能外，Kettle 里的Java表达式、正则表达式、Java脚本、Java类等功能都非常灵活而强大，都非常适合于各种数据处理功能。本书也使用了一些篇幅介绍Kettle这些灵活的数据处理功能。
本书后面章节介绍了如何在 Kettle 上开发插件，如何使用Kettle处理实时数据流，以及如何在 AWS上运行Kettle 等一些高级主题。
除了介绍PDI(Kettle)工具的使用和功能，本书还结合Kimball博士的数据仓库和ETL子系统的理论，从实践的角度介绍数据仓库的模型设计、数据仓库的构建方法，以及如何使用 PDI实现Kimball博士提出的34种ETL子系统。

初建军 北京傲飞科技有限公司CEO，炼数成金社区BI方向授课专家，常年从事商业智能、数据挖掘、数据分析等工作，致力于推广开源BI软件。

第一部分：开始
第1章ETL入门2
1．1OLTP和数据仓库对比 2
1．2ETL是什么 3
1．2．1ETL解决方案的演化过程 4
1．2．2ETL基本构成 5
1．3ETL、ELT和EII 6
1．3．1ELT 6
1．3．2EII：虚拟数据整合 7
1．4数据整合面临的挑战 8
1．4．1方法论：敏捷BI 9
1．4．2ETL设计 10
1．4．3获取数据 10
1．4．4数据质量 12
1．5ETL工具的功能 13
1．5．1连接 13
1．5．2平台独立 14
1．5．3数据规模 14
1．5．4设计灵活性 14
1．5．5复用性 15
1．5．6扩展性 15
1．5．7数据转换 15
1．5．8测试和调试 16
1．5．9血统和影响分析 16
1．5．10日志和审计 16
1．6小结 17
第2章Kettle基本概念18
2．1设计原则 18
2．2Kettle设计模块 19
2．2．1转换 19
2．2．2作业 23
2．2．3转换或作业的元数据 28
2．2．4数据库连接 28
2．2．5工具 31
2．2．6资源库 31
2．2．7虚拟文件系统 31
2．3参数和变量 32
2．3．1定义变量 32
2．3．2命名参数 33
2．3．3使用变量 33
2．4可视化编程 34
2．4．1开始 34
2．4．2创建新的步骤 35
2．4．3放在一起 36
2．5小结 38
第3章安装和配置39
3．1Kettle软件概览 39
3．1．1集成开发环境：Spoon 40
3．1．2命令行启动：Kitchen和Pan 42
3．1．3作业服务器：Carte 42
3．1．4Encr．bat和encr．sh 42
3．2安装 43
3．2．1Java环境 43
3．2．2安装 Kettle 43
3．3配置 46
3．3．1配置文件和．kettle目录 46
3．3．2用于启动Kettle程序的shell脚本 51
3．3．3管理 JDBC 驱动 52
3．4小结 53
第4章ETL示例解决方案――Sakila54
4．1Sakila 54
4．1．1sakila示例数据库 55
4．1．2租赁业务的星型模型 57
4．2预备知识和一些基础的Spoon技巧 60
4．2．1安装ETL解决方案 60
4．2．2Spoon使用 60
4．3ETL示例解决方案 61
4．3．1生成静态维度 62
4．3．2循环加载 64
4．4小结 80
第二部分：ETL
第5章ETL子系统82
5．134种子系统介绍 82
5．1．1抽取 83
5．1．2清洗和更正数据 84
5．1．3数据发布 86
5．1．4管理ETL环境 89
5．2小结 91
第6章数据抽取92
6．1Kettle数据抽取概览 92
6．1．1文件抽取 93
6．1．2数据库抽取 97

6．1．3Web数据抽取 98
6．1．4基于流的和实时的抽取 99
6．2处理ERP和CRM系统 100
6．2．1ERP 挑战 100
6．2．2Kettle ERP插件 101
6．2．3处理SAP数据 101
6．2．4ERP和CDC 问题 104
6．3数据剖析 105
6．4CDC：变更数据捕获 110
6．4．1基于源数据的CDC 111
6．4．2基于触发器的CDC 113
6．4．3基于快照的CDC 113
6．4．4基于日志的CDC 116
6．4．5哪个CDC方案更适合你 117
6．5发布数据 117
6．6小结 118
第7章清洗和校验 119
7．1数据清洗 120
7．1．1数据清洗步骤 121
7．1．2使用参照表 123
7．1．3数据校验 127
7．2错误处理 130
7．2．1处理过程错误 131
7．2．2转换错误 132
7．2．3处理数据（校验）错误 133
7．3审计数据和过程质量 136
7．4数据排重 137
7．4．1去除完全重复的数据 137
7．4．2不完全重复问题 138
7．4．3设计排除重复记录的转换 139
7．5脚本 142
7．5．1公式 143
7．5．2Java脚本 143
7．5．3用户自定义Java表达式 144
7．5．4正则表达式 145
7．6小结 146
第8章处理维度表 147
8．1管理各种键 148
8．1．1管理业务键 148
8．1．2生成代理键 149
8．2加载维度表 154
8．2．1雪花维度表 154
8．2．2星型维度表 159
8．3缓慢变更维度 161
8．3．1缓慢变更维类型 161
8．3．2类型1的缓慢变更维 161
8．3．3类型2的缓慢变更维 163
8．3．4其他类型的缓慢变更维 167
8．4更多维度 168
8．4．1生成维（Generated Dimensions） 168
8．4．2杂项维度（Junk Dimensions） 169
8．4．3递归层次 170
8．5小结 171
第9章加载事实表 172
9．1批量加载 173
9．1．1STDIN和FIFO 173
9．1．2Kettle批量加载 174
9．1．3批量加载一般要考虑的问题 176
9．2维度查询 176
9．2．1维护参照完整性 176
9．2．2代理键管道 177
9．2．3迟到数据 179
9．3处理事实表 182
9．3．1周期快照和累积快照 182
9．3．2面向状态的事实表 183
9．3．3加载周期快照表 185
9．3．4加载累积快照表 185
9．3．5加载面向状态事实表 186
9．3．6加载聚集表 186
9．4小结 187
第10章处理OLAP数据 188
10．1OLAP的价值和挑战 189
10．1．1OLAP 存储类型 190
10．1．2OLAP在系统中的位置 191
10．1．3Kettle OLAP选项 191
10．2Mondrian 192
10．3XML/A服务 194
10．4Palo 197
10．4．1建立Palo 连接 198
10．4．2Palo 架构 199
10．4．3读Palo数据 200
10．4．4写Palo数据 202
10．5小结 204
第三部分：管理和部署
第11章ETL开发生命期 206
11．1解决方案设计 206
11．1．1好习惯和坏习惯 206
11．1．2ETL流设计 209
11．1．3可重用性和可维护性 209
11．2敏捷开发 210
11．3测试和调试 214
11．3．1测试活动 214
11．3．2ETL测试 215
11．3．3调试 218
11．4解决方案文档化 220
11．4．1为什么实际情况下文档很少 220
11．4．2Kettle的文档功能 221
11．4．3生成文档 222
11．5小结 223
第12章调度和监控 224
12．1调度 224
12．1．1操作系统级调度 225
12．1．2使用Pentaho 内置的调度程序 228
12．2监控 232
12．2．1日志 232

12．2．2邮件通知 234
12．3小结 237
第13章版本和移植 238
13．1版本控制系统 238
13．1．1基于文件的版本控制系统 239
13．1．2内容管理系统 240
13．2Kettle 元数据 240
13．2．1Kettle XML 元数据 241
13．2．2Kettle 资源库元数据 242
13．3管理资源库 244
13．3．1导出和导入资源库 244
13．3．2资源库升级 245
13．4版本移植系统 245
13．4．1管理XML文件 245
13．4．2管理资源库 246
13．4．3解决方案参数化 246
13．5小结 248
第14章血统和审计 249
14．1批量血统抽取 250
14．2血统 251
14．2．1血统信息 251
14．2．2影响分析信息 252
14．3日志和操作元数据 254
14．3．1日志基础 254
14．3．2日志架构 255
14．3．3日志表 257
14．4小结 262
第四部分：性能和扩展性
第15章性能调优 264
15．1转换性能：找到最弱连接 264
15．1．1通过简化找到性能瓶颈 265
15．1．2通过度量值找到性能瓶颈 266
15．1．3复制数据行 267
15．2提高转换性能 269
15．2．1提高读文本文件的性能 269
15．2．2写文本文件时使用延迟转换 271
15．2．3提高数据库性能 272
15．2．4数据排序 275
15．2．5减少CPU消耗 276
15．3提高作业性能 280
15．3．1作业里的循环 280
15．3．2数据库连接池 281
15．4小结 281
第16章并行、集群和分区 283
16．1多线程 283
16．1．1数据行分发 284
16．1．2记录行合并 285
16．1．3记录行再分发 285
16．1．4数据流水线 286
16．1．5多线程的问题 287
16．1．6作业中的并行执行 289
16．2使用Carte子服务器 289
16．2．1配置文件 289
16．2．2定义子服务器 290
16．2．3远程执行 291
16．2．4监视子服务器 291
16．2．5Carte安全 291
16．2．6服务 292
16．3集群转换 293
16．3．1定义一个集群模式 293
16．3．2设计集群转换 294
16．3．3执行和监控 295
16．3．4元数据转换 296
16．4分区 298
16．4．1定义分区模式 299
16．4．2分区的目标 300
16．4．3实现分区 300
16．4．4内部变量 301
16．4．5数据库分区 301
16．4．6集群转换中的分区 302
16．5小结 302
第17章云计算中的动态集群 303
17．1动态集群 303
17．1．1建立动态集群 304
17．1．2使用动态集群 306
17．2云计算 306
17．3EC2 307
17．3．1如何使用EC2 307
17．3．2成本 307
17．3．3自定义AMI 307
17．3．4打包新AMI 310
17．3．5中止AMI 310
17．3．6运行主节点 310
17．3．7运行子节点 311
17．3．8使用EC2 集群 312
17．3．9监控 313
17．3．10轻量原则和持久性 314
17．4小结 314
第18章实时数据整合 315
18．1实时ETL介绍 315
18．1．1实时处理面临的挑战 316
18．1．2需求 316
18．2基于流的转换 317
18．2．1一个基于流的转换实例 318
18．2．2调试 321
18．2．3第三方软件和实时整合 321
18．2．4Java 消息服务 322
18．3小结 324
第五部分：高级主题
第19章Data Vault管理 326
19．1Data Vault 模型介绍 327
19．2你是否需要Data Vault 327

19．3Data Vault的组成部分 328
19．3．1中心表 328
19．3．2链接表 329
19．3．3附属表 329
19．3．4Data Vault 特点 331
19．3．5构建 Data Vault 模型 331
19．4将Sakila的例子转换成Data Vault 模型 331
19．4．1Sakila中心表 331
19．4．2Sakila 链接表 332
19．4．3Sakila 附属表 333
19．5加载Data Vault 模型：简单的ETL解决
方案 334
19．5．1安装Sakila Data Vault 335
19．5．2安装ETL方案 335
19．5．3创建一个数据库账户 335
19．5．4ETL解决方案的例子 335
19．5．5加载 Data Vault 表 341
19．6从Data Vault 模型更新数据集市 341
19．6．1ETL解决方案例子 342
19．6．2dim_actor 转换 342
19．6．3dim_customer 转换 343
19．6．4dim_film 转换 346
19．6．5dim_film_actor_bridge 转换 347
19．6．6fact_rental 转换 347
19．6．7加载星型模型里的所有表 349
19．7小结 349
第20章处理复杂数据格式 350
20．1非关系型和非表格型的数据格式 350
20．2非结构化的表格型数据 351
20．2．1处理多值字段 351
20．2．2处理重复的字段组 352
20．3半结构化和非结构化数据 353
20．4键/值对 358
20．5小结 362
第21章Web Services 363
21．1Web 页面和Web Services 363
21．2数据格式 365
21．2．1XML 365
21．2．2HTML 366
21．2．3JavaScript Object Notation 367
21．3XML例子 369
21．3．1XML例子文件 369
21．3．2从XML中抽取数据 371
21．3．3生成XML文档 378
21．4SOAP例子 384
21．4．1使用“Web服务查询”步骤 385
21．4．2直接访问 SOAP服务 386
21．5JSON例子 389
21．5．1Freebase项目 389
21．5．2使用Kettle 抽取Freebase数据 392
21．6RSS 396
21．6．1RSS结构 396
21．6．2Kettle对RSS的支持 398
21．7小结 403
第22章Kettle集成 404
22．1Kettle API 404
22．1．1LGPL协议 404
22．1．2Kettle Java API 405
22．2执行存在的转换和作业 406
22．2．1执行一个转换 406
22．2．2执行一个作业 407
22．3应用程序中嵌入Kettle 408
22．3．1Pentaho 报表 408
22．3．2把数据放到转换里 410
22．3．3动态转换 413
22．3．4动态模板 416
22．3．5动态作业 416
22．3．6在Kettle里执行动态ETL 419
22．3．7Result 419
22．3．8替换元数据 420
22．4OEM版本和二次发布版本 421
22．4．1创建PDI的OEM版本 421
22．4．2Kettle的二次发布（Forking） 422
22．5小结 423
第23章扩展Kettle 424
23．1插件架构 424
23．1．1插件类型 425
23．1．2架构 425
23．1．3前提 425
23．2转换步骤插件 428
23．2．1StepMetaInterface 428
23．2．2StepDataInterface 434
23．2．3StepDialogInterface 434
23．2．4StepInterface 440
23．3用户自定义 Java 类步骤 444
23．3．1传递元数据 444
23．3．2访问输入和字段 445
23．3．3代码片段 445
23．3．4例子 445
23．4作业项插件 446
23．4．1JobEntryInterface 446
23．4．2JobEntryDialogInterface 448
23．5分区插件 448
23．6资源库插件 450
23．7数据库类型插件 450
23．8小结 451
附录AKettle生态群 452
附录B Kettle 企业版特性 456
附录C内置的变量和属性参考 457