PaaS实现与运维管理：基于Mesos +Docker+ELK的实战指南

本书主要阐述了云计算中PaaS平台的实现与运维管理，分为四大部分，分别是概念模型、基础资源、平台实现与运维管理，共十五章。第一部分阐述了运维与开发之间的关系、这层关系存在的矛盾，以及PaaS是如何有效缓解其矛盾的；第二部分勾勒出了数据中心的计算、网络、存储三大资源的主干，避免让人陷入上层的种种产品中；第三部分通过开源产品来构建一个完整的PaaS平台，包括资源管理、任务调度、计算单元打包、分布式协调、日志集中等；第四部分对运维管理进行了实践。

本书适合运维工程师、运维管理人员，以及希望在PaaS上运行分布式、可伸缩、高可用的后端开发工程师阅读。

余何，昵称为“众神的大师兄”，湖南长沙人。国家软件设计师、PMP项目管理认证师、Juniper互联网专员（JNCIS）、NetApp解决方案架构师（NCSA）、高效运维公众号专栏作者。

拥有十余年数据中心运维管理经验，先后任职于华为、平安科技，主导了平安IT基础架构改造、ITIL流程变革等重大项目。热衷于开源技术，广结天下英豪，以运维心灵捕手著称。

本书突出的特点是理论联系实际，深入浅出地讲解了PaaS的实现方法，涉及当下非常热门的Docker、Mesos技术，更难能可贵的是，作者同时分享了珍贵的运维实践经验，我为读者能看到本书的精彩内容而感到高兴。

——“KVM虚拟化实践”公众号维护者、珠海金山西山居系统运维经理肖力

每一名IT工程师都有自己的PaaS平台梦，这才有近年来风行的GAE、CloudFoundry、Docker。然而PaaS要在企业中应用推广，绝不是改个容器或虚拟机那么简单。本书以PaaS为题，内容却覆盖了平台建设的理论基础、技术实现、配套系统和流程管理，是作者多年实践经验的精华所在，堪称大型企业应用运维平台化的指导用书。

——微博运维团队系统架构师饶琛琳

PaaS越来越受到重视，它是未来真正的高效运维利器。本书作者有着丰富的一线运维经验，在本书中从PaaS平台的多个角度阐述了其核心原理与技术实现。值得称赞的是，作者还给出了应用系统如何适应PaaS及对PaaS应用的运维管理，让我们对PaaS平台有了系统而全面的认识。

——优维科技创始人、互联网运维杂谈王津银

国内有不少运维同行在自己的业务领域尝试引入私有IaaS技术，因此催生了不少分享IaaS体系理念及实践的资料和书籍。伴随着愈演愈烈的竞争，互联网业务对运营及运维能力的要求也会不断攀升，大家会慢慢意识到私有云的概念停留在IaaS层面是远远不够的。国内分享PaaS体系的理念及实践的资料和书籍并不多，本书不但对PaaS理论及基础概念介绍得比较清楚，而且以平安科技的实践经验为背景，对广大运维及运营开发同行会有很大的帮助。

——腾讯游戏蓝鲸产品中心总监咖啡党

云服务是当前炙手可热的话题，现在业务使用云服务是趋势，百度内部的业务线也很早就在推广Matrix、PaaS技术。本书内容通俗易懂，讲解由浅至深，读者既能从书中了解到云服务的现状，又能从细节上了解PaaS的实现原理。作者本身对PaaS有着丰富的实战经验，结合书中丰富的源代码，能使读者快速踏入PaaS领域。

——百度国际化首席架构师、广告变现技术团队负责人谢朴锐

相较IaaS而言，PaaS更为丰富、可操作性更强，作者精选多种流行、前沿的PaaS 工具、产品及运维自动化工具，再辅以基础理论知识和个人多年运维行业技术经验写成本书。本书文字朴实易懂、图文并茂，适合运维同仁们细细阅读。

——开放运维联盟联合主席、高效运维技术社区创始人萧田国

第一部分概念模型
第1章分布式PaaS平台介绍 2
1．1什么是PaaS 2
1．1．1开发与运维之间的困局 2
1．1．2DevOps的自动化 3
1．1．3云计算的IaaS 4
1．1．4PaaS的到来 4
1．1．5PaaS的约束与开放 4
1．1．6PaaS解决的具体问题 5
1．2什么是分布式计算 6
1．2．1分布式计算与PaaS 6
1．2．2分布式平台的挑战 7
第2章PaaS模型与特征 10
2．1主流PaaS平台架构 10
2．1．1谷歌GAE 10
2．1．2AEB 11
2．1．3Cloud Foundry 13
2．1．4Heroku 14
2．2PaaS与12-Factor 15
2．2．1基准代码（Codebase） 15
2．2．2依赖（Dependency） 16
2．2．3配置（Config） 17
2．2．4后端服务（Backing Services） 18
2．2．5构建（Build）、发布（Release）、运行（Run） 19
2．2．6进程（Process） 20
2．2．7端口绑定（Port Binding） 21
2．2．8并发（Concurrency） 21
2．2．9快捷性（Disposable） 22
2．2．10开发/生产环境等价（Dev/Prod Parity） 23
2．2．11日志（Log） 24
2．2．12管理进程（Admin Process） 25
2．3PaaS与Reaction宣言 26
2．3．1响应（Responsive） 26
2．3．2韧性（Resilient） 26
2．3．3弹性（Elastic） 27
2．3．4消息驱动（Message Driven） 28
第二部分基础原理
第3章计算资源 30
3．1图灵机与冯?诺伊曼模型 30
3．2服务器的种类 34
3．3一切都是二进制 37
3．3．1整数表示法 38
3．3．2文本表示法 39
3．3．3音频信息表示法 41
3．4操作系统――计算机系统的指挥官 42
3．4．1操作系统解决的问题 42
3．4．2企业级操作系统 43
3．4．3服务器虚拟化 47
3．5进程――资源聚合的抽象体 49
3．5．1计算单元的构建 49
3．5．2计算请求的拆解 51
第4章网络资源 53
4．1协议分层 53
4．1．1OSI网络体系模型 54
4．1．2OSI与TCP/IP协议簇 55
4．1．3交换、选路与传输 56
4．2网络物理设备 58
4．2．1连线与接口 59
4．2．2二层交换机 62
4．2．3路由及三层交换 63
4．2．4四～七层网络设备 64
4．2．5现实网络构成 65
4．3网络逻辑拓扑 65
4．4对网络拓扑的考虑 66
4．5对物理布线的考虑 67
4．6网络虚拟化与SDN 70
第5章存储资源 73
5．1俯瞰存储系统 73
5．1．1数据存储功能分类 73
5．1．2文件存储的三个层级 74
5．2磁盘与磁盘阵列 77
5．2．1硬盘的物理构造 77
5．2．2磁盘阵列 79
5．2．3SCSI协议 81
5．3存储、计算分离 82
5．3．1磁盘柜与盘阵 82
5．3．2FC存储网络 83
5．3．3FC协议栈 86
5．3．4FC寻址过程 87
5．3．5FC交换机与适配器 88
5．3．6FCoE与iSCSI 89
5．4存储访问类型 90
5．4．1NAS与SAN 90
5．4．2分布式存储 92
第三部分平台实现
第6章平台功能与架构 96
6．1平台运维需求 96
6．1．1软件配置 96
6．1．2服务部署 97
6．1．3服务发现 97
6．1．4监控恢复 97
6．2平台功能划分 97
6．3平台高阶架构 100
6．4企业应用迁移 102
6．4．1企业应用很“厚重” 102
6．4．2应用部署架构 102
6．4．3企业应用调整 104
第7章计算单元Docker 108
7．1Docker介绍 108
7．1．1Docker是什么 108
7．1．2Docker术语 109
7．1．3Docker安装 111
7．2Docker容器命令 112
7．2．1run命令 112
7．2．2start命令 115
7．2．3stop命令 116
7．2．4restart命令 116
7．2．5attach命令 116
7．2．6ps命令 116
7．2．7inspect命令 117
7．3Docker镜像命令 119
7．3．1search、pull、push命令 120
7．3．2commit命令 120
7．3．3image、diff、rmi命令 121
7．3．4save、load、export、import命令 121
7．4Docker网络与链接 122
7．4．1Docker网络模式 122
7．4．2pipework管理网络 125
7．4．3容器链接与数据卷 127
7．5Dockerfile 129
7．5．1基本指令集 130
7．5．2环境指令集 131
7．5．3数据指令集 132
7．5．4ENTRYPOINT指令 132
第8章分布式协调ZooKeeper 134
8．1ZooKeeper介绍 134
8．1．1ZooKeeper是什么 134
8．1．2ZooKeeper架构 135
8．1．3数据模型 136
8．1．4监听与通知 139
8．1．5API集合 139
8．1．6会话 140
8．1．7观察者 141
8．2ZooKeeper使用 141
8．2．1快速安装 141
8．2．2基本操作 143
8．2．3配置参数 145
8．2．4动态重配置 149
8．2．5监控 152
8．3ZooKeeper进阶 157
8．3．1分组与权重 158
8．3．2Paxos算法 159
8．3．3ZAB协议 163
8．3．4分布式协调场景 165
第9章资源管理Mesos 167
9．1Mesos介绍 167
9．1．1资源管理需求 167
9．1．2Mesos的起源 169
9．2Mesos架构与工作流 169
9．2．1Mesos架构组件 169
9．2．2Mesos资源管理的工作流程 170
9．3Mesos安装配置 172
9．3．1安装预先准备 172
9．3．2构建Mesos 173
9．3．3启动Mesos 174
9．3．4高可用Mesos 178
9．3．5Slave移除限速 182
9．4Mesos运维 183
9．4．1认证管理 183
9．4．2监控管理 186
9．4．3容器网络限速 192
9．4．4Framework API限速 194
9．4．5Restful接口 195
9．4．6配置参数 196
9．5Mesos资源分配 197
9．5．1DRF算法 197
9．5．2DRF权重 199
第10章服务调度框架 Marathon 200
10．1Marathon介绍 200
10．1．1服务调度平台 200
10．1．2Marathon实体模型 201
10．2Marathon使用 203
10．2．1安装启动 203
10．2．2运行Shell程序 204
10．2．3运行远程资源 208
10．2．4Artifact Store 209
10．3Docker容器运行 211
10．3．1前提准备条件 211
10．3．2端口资源分配 212
10．3．3容器端口分配 215
10．3．4其他使用方法 216
10．4Marathon管理 217
10．4．1应用组 217
10．4．2策略约束 219
10．4．3健康检查 221
10．4．4应用部署 223
10．4．5事件总线 227
10．4．6命令行参数 229
10．5服务发现 231
10．5．1服务发现方法 231
10．5．2Marathon方案 232
10．5．3Mesos-DNS 235
10．5．4Bamboo 239
10．6Chronos作业调度 241
10．6．1作业调度框架 241
10．6．2安装运行 241
10．6．3作业示例 242
10．6．4REST API 243
第11章大数据调度框架Spark 245
11．1Apache Spark介绍 245
11．1．1Apache Spark是什么 245
11．1．2Lambda架构 246
11．1．3Spark生态系统 247
11．2Spark数据处理 248
11．2．1Spark 运行模式 248
11．2．2Spark Standalone模式 252
11．2．3Spark on Mesos 255
11．2．4Spark Streaming 257
第12章日志集中管理ELK 261
12．1日志集中 261
12．1．1日志集中介绍 261
12．1．2日志集中架构 262
12．1．3日志集中框架 264
12．2Logstash 266
12．2．1Logstash介绍 266
12．2．2快速安装 267
12．2．3配置说明 269
12．2．4部署架构 282
12．2．5处理流程 285
12．2．6input插件 286
12．2．7output插件 292
12．2．8filter插件 296
12．2．9codec插件 299
12．3Elasticsearch 300
12．3．1基本概念 300
12．3．2安装与使用 304
12．3．3REST API 305
12．3．4集群设置 309
12．3．5备份恢复 314
12．3．6监控管理 315
12．4Kibana 317
12．4．1Kibana介绍 317
12．4．2discover功能 319
12．4．3visualize功能 324
12．4．4Dashboard功能 327
第四部分运维管理
第13章配置管理 330
13．1配置管理系统分析 331
13．1．1服务模型进行分层 331
13．1．2各IDC团队发现CI 332
13．1．3IDC管理团队定义CI属性 333
13．1．4确定CI之间的关联 336
13．2配置管理系统设计 338
13．2．1用户界面设计 339
13．2．2权限控制、规则定义和OPENAPI 341
13．2．3数据模型的设计 343
13．3配置管理数据准确性的保证 345
13．3．1识别CI的OWNER 345
13．3．2识别CI的生命周期、关联运维流程 346
13．3．3数据有效性的审计 346
第14章监控管理 348
14．1运维监控管理的问题与价值 348
14．1．1监控管理的无形价值 349
14．1．2监控平台建立的基础 350
14．1．3监控管理的WANT原则 350
14．2对运维监控平台的需求分析 352
14．2．1一次监控过程，调度、规则、告警 352
14．2．2数据图形化：百分位裁剪、趋势分析、正态分布 358
14．2．3开源的借鉴与选择：Zabbix和Nagios 361
14．2．4商业与开源：最后的决策 372
14．3JMX监控原理解析 373
14．3．1JMX的体系结构 374
14．3．2一个完整的JMX体系架构实例 376
14．3．3通过JMX访问WebLogic Server MBean 379
14．4SNMP监控原理解析 383
14．4．1SNMP协议解析：MIB库与消息类型 383
14．4．2使用SNMP4J实现服务器监控 386
14．4．3Linux下的监控实现：NET-SNMP 390
14．4．4MIB库浏览工具：ManageEngine 391
第15章运维管理 392
15．1服务级别管理，IT与业务的一致性 392
15．1．1客户满意度与期望 393
15．1．2服务目录――IT服务的菜谱 396
15．1．3从宏观到可操作性的服务 397
15．2变更管理，使服务有效传递 399
15．2．1变更控制的角色、阶段 399
15．2．2变更管理的六个原则 401
15．2．3变更分类与风险定级 402
15．2．4表单、步骤、模板与日历 405
15．3事件管理 409
15．3．1分类管理与评价体系 409
15．3．2任务分发、协同与时效 411
15．3．3内部上报要求 412
15．3．4重大事件处理 413
15．4人员管理：开放与分享 415
15．4．1企业社交管理 415
15．4．2目标管理，做好绩效 417
15．4．3知识管理，人员成长 417
15．4．4时间管理，个人效率 420
15．5PaaS下的运维发展之路 421