持续交付：发布可靠软件的系统方法

第21届Jolt大奖获奖作品
马丁·福勒作序推荐
原著被誉为2010年最重要的技术书
软件开发的新经典

《持续交付：发布可靠软件的系统方法》是一本软件工程师的职场指南，以大量虚构的名字和情景描述了极客的日常工作，对他们常遇到的各类棘手问题给予了巧妙回答。作者以自己在苹果、网景等公司中面临的生死攸关的时刻所做的抉择为例，总结了在硅谷摸爬滚打的经验，旨在为软件工程师更好地规划自己的职业生涯提供帮助。

Jez Humble，ToughtWorks公司首席咨询顾问，致力于帮助企业快速、可靠地交付高质量软件，经常在各种敏捷技术大会上发表演讲，拥有牛津大学物理学学士学位和 伦敦大学民族音乐学的硕士学位。2000年至今，他曾在各行业和不同技术领域担任系统管理员、开发人员、培训人员、咨询师和经理人员。

第一部分 基础篇
第1 章 软件交付的问题
1.1 引言
1.2 一些常见的发布反模式
1.2.1 反模式：手工部署软件
1.2.2 反模式：开发完成之后才向类生产环境部署
1.2.3 反模式：生产环境的手工配置管理
1.2.4 我们能做得更好吗
1.3 如何实现目标
1.3.1 每次修改都应该触发反馈流程
1.3.2 必须尽快接收反馈
1.3.3 交付团队必须接收反馈并作出反应
1.3.4 这个流程可以推广吗
1.4 收效
1.4.1 授权团队
1.4.2 减少错误
1.4.3 缓解压力
1.4.4 部署的灵活性
1.4.5 多加练习，使其完美
1.5 候选发布版本
1.6 软件交付的原则
1.6.1 为软件的发布创建一个可重复且可靠的过程
1.6.2 将几乎所有事情自动化
1.6.3 把所有的东西都纳入版本控制
1.6.4 提前并频繁地做让你感到痛苦的事
1.6.5 内建质量
1.6.6 “DONE”意味着“已发布”
1.6.7 交付过程是每个成员的责任
1.6.8 持续改进
1.7 小结
第2 章 配置管理
2.1 引言
2.2 使用版本控制
2.2.1 对所有内容进行版本控制
2.2.2 频繁提交代码到主干
2.2.3 使用意义明显的提交注释
2.3 依赖管理
2.3.1 外部库文件管理
2.3.2 组件管理
2.4 软件配置管理
2.4.1 配置与灵活性
2.4.2 配置的分类
2.4.3 应用程序的配置管理
2.4.4 跨应用的配置管理
2.4.5 管理配置信息的原则
2.5 环境管理
2.5.1 环境管理的工具
2.5.2 变更过程管理
2.6 小结
第3 章 持续集成
3.1 引言
3.2 实现持续集成
3.2.1 准备工作
3.2.2 一个基本的持续集成系统
3.3 持续集成的前提条件
3.3.1 频繁提交
3.3.2 创建全面的自动化测试套件
3.3.3 保持较短的构建和测试过程
3.3.4 管理开发工作区
3.4 使用持续集成软件
3.4.1 基本操作
3.4.2 铃声和口哨
3.5 必不可少的实践
3.5.1 构建失败之后不要提交新代码
3.5.2 提交前在本地运行所有的提交测试，或者让持续集成服务器完成此事
3.5.3 等提交测试通过后再继续工作
3.5.4 回家之前，构建必须处于成功状态
3.5.5 时刻准备着回滚到前一个版本
3.5.6 在回滚之前要规定一个修复时间
3.5.7 不要将失败的测试注释掉
3.5.8 为自己导致的问题负责
3.5.9 测试驱动的开发
3.6 推荐的实践
3.6.1 极限编程开发实践
3.6.2 若违背架构原则，就让构建失败
3.6.3 若测试运行变慢，就让构建失败
3.6.4 若有编译警告或代码风格问题，就让测试失败
3.7 分布式团队
3.7.1 对流程的影响
3.7.2 集中式持续集成
3.7.3 技术问题
3.7.4 替代方法
3.8 分布式版本控制系统
3.9 小结
第4 章 测试策略的实现
4.1 引言
4.2 测试的分类
4.2.1 业务导向且支持开发过程的测试
4.2.2 技术导向且支持开发过程的测试
4.2.3 业务导向且评价项目的测试
4.2.4 技术导向且评价项目的测试
4.2.5 测试替身
4.3 现实中的情况与应对策略
4.3.1 新项目
4.3.2 项目进行中
4.3.3 遗留系统
4.3.4 集成测试
4.4 流程
4.5 小结

第二部分 部署流水线
第5 章 部署流水线解析
5.1 引言
5.2 什么是部署流水线
5.3 部署流水线的相关实践
5.3.1 只生成一次二进制包
5.3.2 对不同环境采用同一部署方式
5.3.3 对部署进行冒烟测试
5.3.4 向生产环境的副本中部署
5.3.5 每次变更都要立即在流水线中传递
5.3.6 只要有环节失败，就停止整个流水线
5.4 提交阶段
5.5 自动化验收测试之门
5.6 后续的测试阶段
5.6.1 手工测试
5.6.2 非功能测试
5.7 发布准备
5.7.1 自动部署与发布
5.7.2 变更的撤销
5.7.3 在成功的基础上构建
5.8 实现一个部署流水线
5.8.1 对价值流进行建模并创建简单的可工作框架
5.8.2 构建和部署过程的自动化
5.8.3 自动化单元测试和代码分析
5.8.4 自动化验收测试
5.8.5 部署流水线的演进
5.9 度量
5.10 小结
第6 章 构建与部署的脚本化
6.1 引言
6.2 构建工具概览
6.2.1 Make
6.2.2 Ant
6.2.3 NAnt 与 MSBuild
6.2.4 Maven
6.2.5 Rake
6.2.6 Buildr
6.2.7 Psake
6.3 构建部署脚本化的原则与实践
6.3.1 为部署流水线的每个阶段创建脚本
6.3.2 使用恰当的技术部署应用程序
6.3.3 使用同样的脚本向所有环境部署
6.3.4 使用操作系统自带的包管理工具
6.3.5 确保部署流程是幂等的（Idempotent）
6.3.6 部署系统的增量式演进
6.4 面向JVM 的应用程序的项目结构
6.5 部署脚本化
6.5.1 多层的部署和测试
6.5.2 测试环境配置
6.6 小贴士
6.6.1 总是使用相对路径
6.6.2 消除手工步骤
6.6.3 从二进制包到版本控制库的内建可追溯性
6.6.4 不要把二进制包作为构建的一部分放到版本控制库中
6.6.5 “test”不应该让构建失败
6.6.6 用集成冒烟测试来限制应用程序
6.6.7 .NET 小贴士
6.7 小结
第7 章 提交阶段
7.1 引言
7.2 提交阶段的原则和实践
7.2.1 提供快速有用的反馈
7.2.2 何时令提交阶段失败
7.2.3 精心对待提交阶段
7.2.4 让开发人员也拥有所有权
7.2.5 在超大项目团队中指定一个构建负责人
7.3 提交阶段的结果
7.4 提交测试套件的原则与实践
7.4.1 避免用户界面
7.4.2 使用依赖注入
7.4.3 避免使用数据库
7.4.4 在单元测试中避免异步
7.4.5 使用测试替身
7.4.6 最少化测试中的状态
7.4.7 时间的伪装
7.4.8 蛮力
7.5 小结
第8 章 自动化验收测试
8.1 引言
8.2 为什么验收测试是至关重要的
8.2.1 如何创建可维护的验收测试套件
8.2.2 GUI 上的测试
8.3 创建验收测试
8.3.1 分析人员和测试人员的角色
8.3.2 迭代开发项目中的分析工作
8.3.3 将验收条件变成可执行的规格说明书
8.4 应用程序驱动层
8.4.1 如何表述验收条件
8.4.2 窗口驱动器模式：让测试与GUI 解耦
8.5 实现验收测试
8.5.1 验收测试中的状态
8.5.2 过程边界、封装和测试
8.5.3 管理异步与超时问题
8.5.4 使用测试替身对象
8.6 验收测试阶段
8.6.1 确保验收测试一直处于通过状态
8.6.2 部署测试
8.7 验收测试的性能
8.7.1 重构通用任务
8.7.2 共享昂贵资源
8.7.3 并行测试
8.7.4 使用计算网格
8.8 小结
第9 章 非功能需求的测试
9.1 引言
9.2 非功能需求的管理
9.3 如何为容量编程
9.4 容量度量
9.5 容量测试环境
9.6 自动化容量测试
9.6.1 通过UI 的容量测试
9.6.2 基于服务或公共API 来录制交互操作
9.6.3 使用录制的交互模板
9.6.4 使用容量测试桩开发测试
9.7 将容量测试加入到部署流水线中
9.8 容量测试系统的附加价值
9.9 小结
第10 章 应用程序的部署与发布
10.1 引言
10.2 创建发布策略
10.2.1 发布计划
10.2.2 发布产品
10.3 应用程序的部署和晋级
10.3.1 首次部署
10.3.2 对发布过程进行建模并让构建晋级
10.3.3 配置的晋级
10.3.4 联合环境
10.3.5 部署到试运行环境
10.4 部署回滚和零停机发布
10.4.1 通过重新部署原有的正常版本来进行回滚
10.4.2 零停机发布
10.4.3 蓝绿部署
10.4.4 金丝雀发布
10.5 紧急修复
10.6 持续部署
10.7 小贴士和窍门
10.7.1 真正执行部署操作的人应该参与部署过程的创建
10.7.2 记录部署活动
10.7.3 不要删除旧文件，而是移动到别的位置
10.7.4 部署是整个团队的责任
10.7.5 服务器应用程序不应该有GUI
10.7.6 为新部署留预热期
10.7.7 快速失败
10.7.8 不要直接对生产环境进行修改
10.8 小结

第三部分 交付生态圈
……

软件交付的问题
1.1引言
作为软件从业人员，我们面临的最重要问题就是，如果有人想到了一个好点子，我们如何以最快的速度将它交付给用户？本书将给出这个问题的答案。
我们将专注于构建、部署、测试和发布过程，因为相对于软件生产全过程的其他环节来说，这部分内容的论著较为稀少。确切地说，我们并不认为软件开发方法不重要，如果没有对软件生命周期中其他方面的关注，只把它们作为全部问题的次要因素草率对待的话，就不可能实现可靠、迅速且低风险的软件发布，无法以高效的方式将我们的劳动成果交到用户手中。
现在有很多种软件开发方法，但它们主要关注于需求管理及其对开发工作的影响。市面上也有很多优秀的书，它们详细讨论了在软件设计、开发和测试方面各种各样的方法，但它们都仅仅讲述了将软件交付给作为客户的人或组织这一完整价值流的一部分。
一旦完成了需求定义以及方案的设计、开发和测试，我们接下来做什么？我们如何协调这些活动，尽可能地使交付过程更加可靠有效呢？我们如何让开发人员、测试人员，以及构建和运维人员在一起高效地工作呢？
本书描述了软件从开发到发布这一过程的有效模式。书中讲述了帮助大家实现这种模式的技术和最佳实践，展示了它与软件交付中其他活动是如何联系的。
本书的中心模式是部署流水线。从本质上讲，部署流水线就是指一个应用程序从构建、部署、测试到发布这整个过程的自动化实现。部署流水线的实现对于每个组织都将是不同的，这取决于他们对软件发布的价值流的定义，但其背后的原则是相同的。
部署流水线的示例如图1-1所示。
部署流水线大致的工作方式如下。对于应用程序的配置、源代码、环境或数据的每个变更都会触发创建一个新流水线实例的过程。流水线的首要步骤之一就是创建二进制文件和安装包，而其余部分都是基于第一步的产物所做的一系列测试，用于证明其达到了发布质量。每通过一步测试，我都会更加相信这些二进制文件、配置信息、环境和数据所构成的特殊组合可以正常工作。如果这个产品通过了所有的测试环节，那么它就可以发布了。
图1-1一个简单的部署流水线
部署流水线以持续集成过程为其理论基石，从本质上讲，它是采纳持续集成原理后的自然结果。
部署流水线的目标有三个。首先，它让软件构建、部署、测试和发布过程对所有人可见，促进了合作。其次，它改善了反馈，以便在整个过程中，我们能够更早地发现并解决问题。最后，它使团队能够通过一个完全自动化的过程在任意环境上部署和发布软件的任意版本。
1.2一些常见的发布反模式
软件发布的当天往往是紧张的一天。为什么会这样呢？对于大多数项目来说，在整个过程中，发布时的风险是比较大的。
在许多软件项目中，软件发布是一个需要很多手工操作的过程。首先，由运维团队独自负责安装好该应用程序所需的操作系统环境，再把应用程序所依赖的第三方软件安装好。其次，要手工将应用程序的软件产物复制到生产主机环境，然后通过Web服务器、应用服务器或其他第三方系统的管理控制台复制或创建配置信息，再把相关的数据复制一份到环境中，最后启动应用程序。假如这是个分布式的或面向服务的应用程序，可能就需要一部分一部分地完成。
如上所述，发布当天紧张的原因应该比较清楚了：在这个过程中有太多步骤可能出错。假如其中有一步没有完美地执行，应用程序就无法正确地运行。一旦发生这种情况，我们很难一下子说清楚哪里出了错，或到底是哪一步出了错。
本书其他部分将讨论如何避免这些风险，如何减少发布当天的压力，以及如何确保每次发布的可靠性都是可预见的。
在此之前，让我们先明确到底要避免哪类失败。下面列出了与可靠的发布过程相对应的几种常见的反模式，它们在我们这个行业中屡见不鲜。
1.2.1反模式：手工部署软件
对于现在的大多数应用程序来说，无论规模大小，其部署过程都比较复杂，而且包含很多非常灵活的部分。许多组织都使用手工方式发布软件，也就是说部署应用程序所需的步骤是独立的原子性操作，由某个人或某个小组来分别执行。每个步骤里都有一些需要人为判断的事情，因此很容易发生人为错误。即便不是这样，这些步骤的执行顺序和时机的不同也会导致结果的差异性，而这种差异性很可能给我们带来不良后果。
这种反模式的特征如下。
· 有一份非常详尽的文档，该文档描述了执行步骤及每个步骤中易出错的地方。
· 以手工测试来确认该应用程序是否运行正确。
· 在发布当天开发团队频繁地接到电话，客户要求解释部署为何会出错。
· 在发布时，常常会修正一些在发布过程中发现的问题。
· 如果是集群环境部署，常常发现在集群中各环境的配置都不相同，比如应用服务器的连接池设置不同或文件系统有不同的目录结构等。
· 发布过程需要较长的时间（超过几分钟）。
· 发布结果不可预测，常常不得不回滚或遇到不可预见的问题。
· 发布之后凌晨两点还睡眼惺忪地坐在显示器前，绞尽脑汁想着怎么让刚刚部署的应用程序能够正常工作。
相反，随着时间的推移，部署应该走向完全自动化，即对于那些负责将应用程序部署到开发环境、测试环境或生产环境的人来说，应该只需要做两件事：（1）挑选版本及需要部署的环境，（2）按一下“部署”按钮。对于套装软件的发布来说，还应该有一个创建安装程序的自动化过程。
我们将在本书中讨论很多自动化问题。当然，并不是所有的人都热衷于这个想法。那么，我们先来解释一下为什么把自动化部署看做是一个必不可少的目标。
· 如果部署过程没有完全自动化，每次部署时都会发生错误。唯一的问题就是“该问题严重与否”而已。即便使用良好的部署测试，有些错误也很难追查。
· 如果部署过程不是自动化的，那么它就既不可重复也不可靠，就会在调试部署错误的过程中浪费很多时间。
· 手动部署流程不得不被写在文档里。可是文档维护是一项复杂而费时的任务，它涉及多人之间的协作，因此文档通常要么是不完整的，要么就是未及时更新的，而把一套自动化部署脚本作为文档，它就永远是最新且完整的，否则就无法进行部署工作了。
· 自动部署本质上也是鼓励协作的，因为所有内容都在一个脚本里，一览无遗。要读懂文档通常需要读者具备一定的知识水平。然而在现实中，文档通常只是为执行部署者写的备忘录，是难以被他人理解的。
· 以上几点引起的一个必然结果：手工部署过程依赖于部署专家。如果专家去度假或离职了，那你就有麻烦了。
· 尽管手工部署枯燥且极具重复性，但仍需要有相当程度的专业知识。若要求专家做这些无聊、重复，但有技术要求的任务则必定会出现各种我们可以预料到的人为失误，同时失眠，酗酒这种问题也会接踵而至。然而自动化部署可以把那些成本高昂的资深高技术人员从过度工作中解放出来，让他们投身于更高价值的工作活动当中。
· 对手工部署过程进行测试的唯一方法就是原封不动地做一次（或者几次）。这往往费时，还会造成高昂的金钱成本，而测试自动化的部署过程却是既便宜又容易。
· 另外，还有一种说法：自动化过程不如手工过程的可审计性好。我们对这个观点感到很疑惑。对于一个手工过程来说，没人能确保其执行者会非常严格地遵循文档完成操作。只有自动化过程是完全可审核的。有什么会比一个可工作的部署脚本更容易被审核的呢？
· 每个人都应该使用自动化部署过程，而且它应该是软件部署的唯一方式。这个准则可以确保：在需要部署时，部署脚本就能完成工作。在本书中我们会提到多个原则，而其中之一就是“使用相同的脚本将软件部署到各种环境上”。如果使用相同的脚本将软件部署到各类环境中，那么在发布当天需要向生产环境进行部署时，这个脚本已经被验证过成百上千次了。如果发布时出现任何问题的话，你可以百分百地确定是该环境的具体配置问题，而不是这个脚本的问题。
当然，手工密集型的发布工作有时也会进行得非常顺利。有没有可能是糟糕的情况刚巧都被我们撞见了呢？假如在整个软件生产过程中它还算不上一个易出错的步骤，那么为什么还总要这么严阵以待呢？为什么需要这些流程和文档呢？为什么团队在周末还要加班呢？为什么还要求大家原地待命，以防意外发生呢？

……