贝叶斯数据分析（英文导读版 原书第3版）

[美]安德鲁·格尔曼（Andrew Gelman） ，哥伦比亚大学应用统计中心主任，教授，获美国统计协会颁发的杰出贡献奖，佳文章奖。

前言

第Ⅰ部分贝叶斯推断基础1

第1章概率与推断3

1.1 贝叶斯数据分析的三个步骤3

1.2 统计推断的一般概念4

1.3 贝叶斯推断6

1.4 离散概率示例：基因和拼写检查8

1.5 概率：不确定性的量度11

1.6 概率分布的例子：橄榄球分差13

1.7 例子：估计记录连结的准确性16

1.8 概率论中的一些实用结论19

1.9 计算和软件22

1.10 应用统计的贝叶斯推断24

1.11 文献注记25

1.12 练习27

第2章单参数模型29

2.1 从二项分布数据中估计概率29

2.2 后验分布：数据和先验信息的权衡32

2.3 后验推断的主要内容32

2.4 内容丰富的先验分布34

2.5 在给定方差时估计正态均值39

2.6 其他标准单参数模型42

2.7 例子：用于癌症患病率的有信息先验分布47

2.8 无信息先验分布51

2.9 弱信息先验分布55

2.10 文献注记56

2.11 练习57

第3章多参数模型63

3.1 冗余参数的平均63

3.2 为正态数据选择一个信息不足的先验分布64

3.3 正态数据的共轭先验分布67

3.4 分类数据的多项分布模型69

3.5 方差已知情况下的多元正态模型70

3.6 均值和方差未知情况下的多元正态模型72

3.7 例子：生物测定实验分析74

3.8 基础建模和计算78

3.9 文献注记78

3.10 练习79

第4章渐近性以及与非贝叶斯方法的关系83

4.1 后验分布的正态近似83

4.2 大样本理论87

4.3 理论的反例89

4.4 贝叶斯推断的频率评价91

4.5 其他统计模型的贝叶斯解释92

4.6 文献注记97

4.7 练习98

第5章分层模型101

5.1 构造一个参数先验分布102

5.2 互换性和分层模型的设计104

5.3 共轭分层模型的完整贝叶斯分析108

5.4 从正态模型估计互换参数113

5.5 例子：八所学校的并行实验119

5.6 分层建模在元分析中的应用124

5.7 分层方差参数的弱信息先验128

5.8 文献注记132

5.9 练习134

第Ⅱ部分贝叶斯数据分析基础139

第6章模型核查141

6.1 应用贝叶斯统计中模型核查的作用141

6.2 模型推断一定合理吗？142

6.3 后验预测核查143

6.4 后验预测核查的图形化方法153

6.5 教育考试例子的模型检验159

6.6 文献注记161

6.7 练习163

第7章模型评价、对比及延伸165

7.1 预测精度的度量166

7.2 信息准则和交叉验证169

7.3 基于预测效果的模型比较178

7.4 运用贝叶斯因子的模型比较182

7.5 连续模型的延伸184

7.6 不明确假设和模型延伸：一个例子187

7.7 文献注记192

7.8 练习193

第8章建模数据的收集197

8.1 贝叶斯推断中需要一个模型引导数据收集197

8.2 数据收集模型和可忽略性199

8.3 抽样调查205

8.4 设计试验214

8.5 敏感性和随机性的作用218

8.6 观察研究220

8.7 删失数据和截断数据224

8.8 讨论229

8.9 文献注记229

8.10 练习230

第9章决策分析237

9.1 贝叶斯决策理论的几种应用237

9.2 回归预测的应用：电话调查的动机239

9.3 多级决策：医学筛选245

9.4 分层决策分析：氡的测量246

9.5 个体以及机构决策分析256

9.6 文献注记257

9.7 练习257

第Ⅲ部分高级计算259

第10章贝叶斯计算入门261

10.1 数值积分261

10.2 分布近似262

10.3 直接模拟和拒绝抽样263

10.4 重要性抽样265

10.5 需要多少模拟图267

10.6 计算环境268

10.7 贝叶斯计算调试270

10.8 文献注记271

10.9 练习272

第11章马尔可夫链模拟基本概念275

11.1 Gibbs抽样276

11.2 MH算法278

11.3 使用Gibbs抽样和MH算法构造区块280

11.4 推断和评估收敛性281

11.5 随机抽样的有效次数286

11.6 例子：分层正态模型288

11.7 文献注记291

11.8 练习291

第12章高效计算的马尔可夫链模拟293

12.1 高效Gibbs抽样293

12.2 高效Metropolis抽样295

12.3 Gibbs抽样和Metropolis抽样的扩充297

12.4 哈密顿蒙特卡罗法300

12.5 一个简单分层模型的哈密顿动态过程305

12.6 Stan：计算开发环境307

12.7 文献注记308

12.8 练习309

第13章众数和分布近似311

13.1 后验众数的发现311

13.2 用于众数特征的避免边缘先验313

13.3 正态和相应的混合近似318

13.4 运用EM算法寻找边缘后验众数320

13.5 条件和边缘后验密度的近似325

13.6 例子：分层正态模型（续）326

13.7 变分推断331

13.8 期望传播338

13.9 其他近似343

13.10 未知正态因子345

13.11 文献注记348

13.12 练习349

第Ⅳ部分回归模型351

第14章回归模型简介353

14.1 条件建模353

14.2 经典回归模型中的贝叶斯分析354

14.3 因果推断中的回归模型：国会选举的执政党案例358

14.4 回归分析的目标364

14.5 解释变量矩阵综述365

14.6 多变量正则化和降维367

14.7 不等方差和相关369

14.8 包含数值先验信息376

14.9 文献注记378

14.10 练习378

第15章分层线性模型381

15.1 回归系数批量替换条件下的模型382

15.2 例子：预测美国总统大选383

15.3 用作额外数据的的正态先验分布及其解释388

15.4 调整截距和调整斜率390

15.5 计算方法：批量和变换392

15.6 方差分析和成批系数395

15.7 成批方差成分分层模型398

15.8 文献注记400

15.9 练习402

第16章广义线性模型405

16.1 标准广义线性似然函数406

16.2 运用广义线性模型407

16.3 逻辑斯谛回归的弱信息先验412

16.4 例子：分层泊松回归在警方盘查中的应用420

16.5 例子：分层逻辑斯谛回归在政治观点中的应用422

16.6 响应变量为多项的多元模型423

16.7 多元离散数据的对数线性模型428

16.8 文献注记431

16.9 练习432

第17章稳健模型推断435

17.1 模型的稳健性435

17.2 标准概率模型的过离散形式437

17.3 后验推断和计算439

17.4 八所学校的稳健推断和敏感性分析441

17.5 运用t分布误差的稳健回归444

17.6 文献注记445

17.7 练习446

第18章缺失数据模型449

18.1 记号449

18.2 多重插补451

18.3 多元正态和t分布模型中的缺失数据454

18.4 例子：对一系列调查数据的多重插补456

18.5 计数数据的缺失值462

18.6 例子：斯洛文尼亚的一项民意调查463

18.7 文献注记466

18.8 练习467

第Ⅴ部分非线性和非参数模型469

第19章参数非线性模型471

19.1 例子：连续稀释法471

19.2 例子：种群毒物代谢动力学477

19.3 文献注记485

19.4 练习486

第20章基函数模型487

20.1 样条和基函数加权组合函数487

20.2 基函数选择和系数压缩490

20.3 非正态模型和多元回归曲面494

20.4 文献注记498

20.5 练习498

第21章高斯过程模型501

21.1 高斯过程回归501

21.2 例子：生日和出生日期505

21.3 隐高斯过程模型510

21.4 函数数据分析512

21.5 密度估计和回归513

21.6 文献注记516

21.7 练习516

第22章有限混合模型519

22.1 混合模型的设计和性质519

22.2 例子：反应时间和精神分裂症524

22.3 指示变量的转换和后验分布计算533

22.4 混合成分变量数不定下的计算536

22.5 分类和回归混合模型539

22.6 文献注记542

22.7 练习543

第23章Dirichlet过程模型545

23.1 贝叶斯直方图545

23.2 Dirichlet过程先验分布546

23.3 Dirichlet过程混合分布549

23.4 密度估计557

23.5 分层响应560

23.6 密度回归568

23.7 文献注记571

23.8 练习573

A标准概率分布575

A.1 连续分布575

A.2 离散分布583

A.3 文献注记584

B极限定理的证明概述585

B.1 文献注记588

CR和Stan软件计算589

C.1 认识R和Stan软件589

C.2 在Stan软件中拟合一个分层模型589

C.3 直接模拟、Gibbis和Metropolis抽样的R实现594

C.4 哈密顿蒙特卡罗方法的R实现601

C.5 其他注释605

C.6 文献注记606

参考文献607

作者索引641

主题索引649

前 言

本书有三个定位分别服务于三类不同需求的读者：一是作为贝叶斯推断基本原理的基础性教材，二是涵盖统计学及其相关应用领域的贝叶斯建模与计算方法的研究生用教材；三是作为应用统计工作者和研究者的有关贝叶斯方法的使用手册。虽然书中的前几章充满了大量介绍性文字，但它并非严格意义上的统计学初等教材。书中使用的数学基础包括：基本的概率与统计知识、初等微积分和线性代数。第1章会比较详细地回顾基础的概率论中的概念，以及一些我们假设读者已经学习过的主题项。本书实用性的定位，意味着读者应该已经具备较强的计算能力并且在处理概率论、统计、线性代数方面问题中有着丰富的经验。

如果写作本书仅仅是为了在市面上增添又一本介绍性读物，那么它的价值不外乎是为读者引入一些概念性的知识，却不能为他们将来的实际工作提供指导，事实上贝叶斯分析和非贝叶斯分析本质上是一样的，都能将分析引入胜境。另外，因为统计的本质是应用，所以我们觉得只阐述高级方法却不涉及对一些基本数据分析概念的介绍是不太妥当的；只介绍流行的贝叶斯理论却不列举一些实际应用的案例也是不完整的。为了避免主体叙述混乱，将文献注记放在每个章节之后，参考文献放在全书的末尾。

真实的统计分析案例会贯穿全书，我们这样做是希望能使本书整体的讲解都带有实用的意味。事实上，贝叶斯方法概念力求简洁，令那些处于特殊环境之中的复杂问题迎刃而解。非贝叶斯的方法虽然也曾是统计理论的主流，20世纪的大部分实践都基于这些方法，但是近几十年贝叶斯理论的重新兴起大多得益于现代计算机技术的普及和发展，而不是通常我们所认为的贝叶斯思想的理论和逻辑优势。

我们在处理贝叶斯推断时，主要注重实践而不是理论——书中引用的大量来自于我们和其他人亲身经历的实践案例可见证这一点。第1章诠释以概率论基础作为经验和度量工具的观点（具体见1.4～1.7节）。

第3版的变化

本书第3版中突出的一个特色就是增加了第20～23章——讲述非参数建模。其他的一些变化包括：第2、5章和其他地方新增了关于弱信息先验的内容；第13章增添了避免边界先验的内容；第7章更新了对交叉验证和预测信息标准的讨论；第11章讲述改进了收敛检测以及迭代模拟有效样本量的计算方法；第12、13章陈述了哈密顿蒙特卡罗方法、变分贝叶斯以及EP算法的内容；附录C给出了新修订过的代码。除此之外，本书还有一些其他的变化。

在完成第1版《贝叶斯数据分析》之后的18年里，我们处理过众多有趣的应用案例，限于篇幅，我们没能把它们都写入这一版中。一些例子收录在我们出版的《数据的回归分析与多级模型》一书和发表的一些论文中。

在线资源

附加的资料，包括例子中使用的数据、章后练习的解答，以及书籍出版之后发现的一些错误，都已经发布在网站上。网址为https://www.stat.columbia.edu/~gelman/book/。如有任何建议或意见可以直接发给我们。

致谢

我们对许多学生、同事以及提出建议和意见的朋友们表示感谢，同时感谢公共赞助使我们的工作能够顺利完成。

特别地，我们感谢Stephen Ansolabehere、 Adriano Azevedo、 Jarrett Barber、 Richard

Barker、 Tom Belin、 Michael Betancourt、 Suzette Blanchard、 Rob Calver、 Brad Carlin、 Bob Carpenter、 Alicia Carriquiry、 Samantha Cook、 Alex Damour、 Victor De Oliveira、 Vince Dorie、 David Draper、 John Emerson、 Steve Fienberg、 Alex Franks、 Byron Gajewski、 Yuanjun Gao、 Daniel Gianola、 Yuri Goegebeur、 David Hammill、 Chad Heilig、 Matt Hoffman、 Chuanpu Hu、 Zaiying Huang、 Shane Jensen、 YoonSook Jeon、 PasiJylanki、 Jay Kadane、 Jouni Kerman、 Gary King、 Lucien Le Cam、 Yew Jin Lim、 Rod Little、 Tom Little、 Chuanhai Liu、 Xuecheng Liu、 Peter McCullagh、 Mary Sara McPeek、 XiaoLi Meng、 BabackMoghaddam、 Olivier Nimeskern、 Peter Norvig、 Ali Rahimi、 Thomas Richardson、 Christian Robert、 Scott Schmidler、 Matt Schofield、 Andrea Siegel、 SandipSinharay、 Elizabeth Stuart、 Andrew Swift、 Eric Tassone、 Francis Tuerlinckx、 Iven Van Mechelen、 Amos Waterland、 Rob Weiss、 LoHua Yuan和Alan Zaslavsky。我们要特别感谢John Boscardin、 Jessica Hwang、 Daniel Lee、 Phillip Price和Radford Neal。

这项工作部分是由美国国家科学基金会、美国国家卫生研究院、美国教育科学研究所、美国国家安全局、美国能源部和芬兰科学院提供资助的。

另外，本书中出现的例子和文章有些是由我们自己完成，有些则由别人撰写，这些都在文献注记以及章后练习中有所标记。

我们要感谢Caroline、Nancy、Hara、Amy、Ilona，以及其他家人和朋友，感谢他们在我们的写作与修改过程中的关爱与支持。