程序员的数学2 概率统计

第1部分聊聊概率这件事
第1章概率的定义3
1．1概率的数学定义3
1．2三扇门（蒙提霍尔问题） ——飞艇视角4
1．2．1蒙提霍尔问题5
1．2．2正确答案与常见错误6
1．2．3以飞艇视角表述6
1．3三元组（Ω， F， P） ——上帝视角9
1．4随机变量13
1．5概率分布17
1．6适于实际使用的简记方式19
1．6．1随机变量的表示方法19
1．6．2概率的表示方法20
1．7?是幕后角色21
1．7．1不必在意?究竟是什么21
1．7．2?的习惯处理方式22
1．7．3不含?（不含上帝视角）的概率论23
1．8一些注意事项23
1．8．1想做什么23
1．8．2因为是面积……24
1．8．3解释26
第2章多个随机变量之间的关系29
2．1各县的土地使用情况（面积计算的预热）29
2．1．1不同县、不同用途的统计（联合概率与边缘概率的预热）30
2．1．2特定县、特定用途的比例（条件概率的预热）31
2．1．3倒推比例（贝叶斯公式的预热）32
2．1．4比例相同的情况（独立性的预热）34
2．1．5预热结束38
2．2联合概率与边缘概率38
2．2．1两个随机变量38
2．2．2三个随机变量41
2．3条件概率42
2．3．1条件概率的定义42
2．3．2联合分布、边缘分布与条件分布的关系45
2．3．3即使条件中使用的不是等号也一样适用50
2．3．4三个或更多的随机变量51
2．4贝叶斯公式55
2．4．1问题设置56
2．4．2贝叶斯的作图曲57
2．4．3贝叶斯公式61
2．5独立性63
2．5．1事件的独立性（定义）64
2．5．2事件的独立性（等价表述）67
2．5．3随机变量的独立性70
2．5．4三个或更多随机变量的独立性（需多加注意）73
第3章离散值的概率分布79
3．1一些简单的例子79
3．2二项分布82
3．2．1二项分布的推导82
3．2．2补充：排列nPk、组合nCk83
3．3期望值85
3．3．1期望值的定义85
3．3．2期望值的基本性质87
3．3．3期望值乘法运算的注意事项91
3．3．4期望值不存在的情况93
3．4方差与标准差99
3．4．1即使期望值相同99
3．4．2方差即“期望值离散程度”的期望值100
3．4．3标准差102
3．4．4常量的加法、乘法及标准化104
3．4．5各项独立时，和的方差等于方差的和108
3．4．6平方的期望值与方差110
3．5大数定律112
3．5．1独立同分布114
3．5．2平均值的期望值与平均值的方差116
3．5．3大数定律117
3．5．4大数定律的相关注意事项118
3．6补充内容：条件期望与最小二乘法120
3．6．1条件期望的定义120
3．6．2最小二乘法121
3．6．3上帝视角122
3．6．4条件方差123
第4章连续值的概率分布127
4．1渐变色打印问题（密度计算的预热）128
4．1．1用图表描述油墨的消耗量（累积分布函数的预热）128
4．1．2用图表描述油墨的打印浓度（概率密度函数预热）129
4．1．3拉伸打印成品对油墨浓度的影响（变量变换的预热）133
4．2概率为零的情况136
4．2．1出现概率恰好为零的情况137
4．2．2概率为零将带来什么问题139
4．3概率密度函数140
4．3．1概率密度函数140
4．3．2均匀分布146
4．3．3概率密度函数的变量变换147
4．4联合分布·边缘分布·条件分布152
4．4．1联合分布152
4．4．2本小节之后的阅读方式155
4．4．3边缘分布155
4．4．4条件分布159
4．4．5贝叶斯公式162
4．4．6独立性163
4．4．7任意区域的概率·均匀分布·变量变换166
4．4．8实数值与离散值混合存在的情况174
4．5期望值、方差与标准差174
4．5．1期望值175
4．5．2方差·标准差179
4．6正态分布与中心极限定理180
4．6．1标准正态分布181
4．6．2一般正态分布184
4．6．3中心极限定理187
第5章协方差矩阵、多元正态分布与椭圆195
5．1协方差与相关系数196
5．1．1协方差196
5．1．2协方差的性质199
5．1．3分布倾向的明显程度与相关系数200
5．1．4协方差与相关系数的局限性206
5．2协方差矩阵208
5．2．1协方差矩阵=方差与协方差的一览表208
5．2．2协方差矩阵的向量形式表述209
5．2．3向量与矩阵的运算及期望值212
5．2．4向量值随机变量的补充说明215
5．2．5协方差矩阵的变量变换217
5．2．6任意方向的发散程度218
5．3多元正态分布220
5．3．1多元标准正态分布220
5．3．2多元一般正态分布223
5．3．3多元正态分布的概率密度函数228
5．3．4多元正态分布的性质230
5．3．5截面与投影232
5．3．6补充知识：卡方分布239
5．4协方差矩阵与椭圆的关系242
5．4．1（实例一）单位矩阵与圆242
5．4．2（实例二）对角矩阵与椭圆244
5．4．3（实例三）一般矩阵与倾斜的椭圆247
5．4．4协方差矩阵的局限性251
第2部分探讨概率的应用
第6章估计与检验257
6．1估计理论257
6．1．1描述统计与推断统计257
6．1．2描述统计258
6．1．3如何理解推断统计中的一些概念260
6．1．4问题设定264
6．1．5期望罚款金额265
6．1．6多目标优化266
6．1．7（策略一）减少候选项——最小方差无偏估计267
6．1．8（策略二）弱化最优定义——最大似然估计269
6．1．9（策略三）以单一数值作为评价基准——贝叶斯估计272
6．1．10策略选择的相关注意事项275
6．2检验理论276
6．2．1检验理论中的逻辑276
6．2．2检验理论概述278
6．2．3简单假设279
6．2．4复合假设282
第7章伪随机数285
7．1伪随机数的基础知识285
7．1．1随机数序列285
7．1．2伪随机数序列286
7．1．3典型应用：蒙特卡罗方法287
7．1．4相关主题：密码理论中的伪随机数序列·低差异序列289
7．2遵从特定分布的随机数的生成291
7．2．1遵从离散值分布的随机数的生成292
7．2．2遵从连续值分布的随机数的生成293
7．2．3遵从正态分布的随机数的生成296
7．2．4补充知识：三角形内及球面上的均匀分布298
第8章概率论的各类应用305
8．1回归分析与多变量分析305
8．1．1通过最小二乘法拟合直线305
8．1．2主成分分析312
8．2随机过程319
8．2．1随机游走321
8．2．2卡尔曼滤波器326
8．2．3马尔可夫链331
8．2．4关于随机过程的一些补充说明342
8．3信息论343
8．3．1熵343
8．3．2二元熵347
8．3．3信源编码349
8．3．4信道编码352
附录A本书涉及的数学基础知识359
A．1希腊字母359
A．2数359
A．2．1自然数·整数359
A．2．2有理数·实数359
A．2．3复数360
A．3集合360
A．3．1集合的表述方式360
A．3．2无限集的大小361
A．3．3强化练习361
A．4求和符号?362
A．4．1定义与基本性质362
A．4．2双重求和364
A．4．3范围指定366
A．4．4等比数列366
A．5指数与对数368
A．5．1指数函数368
A．5．2高斯积分371
A．5．3对数函数374
A．6内积与长度377
附录B近似公式与不等式381
B．1斯特林公式381
B．2琴生不等式381
B．3吉布斯不等式384
B．4马尔可夫不等式与切比雪夫不等式385
B