本书涵盖了计算统计领域的几乎所有核心内容，既包含一些经典的统计计算方法，如求解非线性方程组的牛顿方法、传统的随机模拟方法，又系统地介绍了近些年来发展起来的计算统计中的某些新方法，如模拟退火算法、基因算法、EM算法、MCMC方法、Bootstrap方法等。另外，本书时效性强、实例丰富，书后还提供了大量不同难度的习题以供读者练习。 本书可作为数学、统计学、科学计算等专业的本科生教材，也可供统计学方向的研究生、工程技术人员和应用工作者参考使用。

现代统计计算完全指南，玩转数据科学必备！

第2版译者序

自2013年的大数据元年开始，大数据的概念被国内外越来越多的专家学者认可、接受和研究，在国家层面上也开始利用大数据关注民生，服务经济生活。大数据科学集多种学科知识于一身，促进了多种学科特别是统计学的发展。计算统计是统计学里引人入胜并且相对较新的领域，计算统计主要依据数据说话，可以为大数据科学的发展保驾护航。同时大数据科学的发展实现了对数据进行多维度的展示，同时也促进了计算统计的繁荣。

目前国内很多高校把计算统计作为统计学本科专业的一门重要基础课程，而且越来越多的相关专业本科生或者研究生也都选修此课程。本书包含了现代计算统计中的大多数内容，主要包括优化方法、积分和模拟、自助法、密度估计以及光滑技术。本书的读者对象为统计和相关专业的研究生、统计学家和其他领域作定量分析的科学工作者。对读者的数学水平的要求不超过泰勒级数和线性代数。要求的统计知识仅限于一年级研究生所学的统计和概率论内容。为了方便读者自学，第1 章是基础知识回顾，所以很适合于自学或者作为教材使用。另外本书作者网站给出了全书使用的R 语言代码以及数据集，读者可以自行下载使用，并可以根据代码和数据重现书上的图形和表格。

本书基于中文的第1 版进行翻译。第1 版的翻译工作由南开大学王兆军老师、刘民千老师、邹长亮老师和杨建峰老师完成。感谢在第2 版的翻译过程中王兆军老师提供的帮助。全书由周丙常统稿。

感谢西安交通大学出版社李颖编辑精心而细致的工作以及在本书翻译过程中给予我们的大力支持和帮助，使得该书能够顺利出版。

感谢2017 年西北工业大学双一流研究生核心课程及教学团队建设项目(17GZ030112)的支持。

由于译者的中英文水平及专业知识有限，翻译之中的不当之处欢迎广大读者批评指正。第一译者采用TEX 排版全文，所以第一译者对所有的笔误负责。欢迎读者针对本书内容进

行沟通指正。

译者

2017 年12 月西安

Geof H.Givens,美国华盛顿大学博士，现任科罗拉多州立大学统计系副教授。曾任美国国家科学基金会职业奖，美国统计协会杰出应用奖。 Jennifer A.Hoeting，美国科罗拉多州立大学统计系副教授。主要研究领域为：贝叶斯统计，模型的选择性和不确定性，空间统计学，环境问题中的统计方法等。

目录

第1章回顾

1.1 数学记号. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.2 Taylor 定理和数学极限理论. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

1.3 统计记号和概率分布. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1.4 似然推断. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

1.5 贝叶斯推断. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

1.6 统计极限理论. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

1.7 马氏链. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

1.8 计算. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

第一部分优化17

第2章优化与求解非线性方程组19

2.1 单变量问题. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

2.2 多元问题. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

习题. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

第3章组合优化51

3.1 难题和NP 完备性. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

3.2 局部搜索法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

3.3 模拟退火. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59

3.4 遗传算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

3.5 禁忌算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73

习题. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78

第4 章EM优化方法82

4.1 缺失数据、边际化和符号. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82

4.2 EM 算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83

4.3 EM 变型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94

习题. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102

第二部分积分和模拟109

第5 章数值积分111

5.1 Newton-Cotes 求积. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111

5.2 Romberg 积分. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119

5.3 Gauss 求积. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123

5.4 常见问题. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126

习题. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127

第6 章模拟与Monte Carlo 积分130

6.1 Monte Carlo 方法介绍. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130

6.2 精确模拟. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131

6.3 近似模拟. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140

6.4 方差缩减技术. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155

习题. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168

第7 章MCMC 方法172

7.1 METROPOLIS-HASTINGS 算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . 172

7.2 Gibbs 抽样机. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178

7.3 实施. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187

习题. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197

第8 章MCMC 中的深入论题202

8.1 自适应MCMC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202

8.2 可逆跳跃MCMC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213

8.3 辅助变量方法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219

8.4 其他METROPOLIS-HASTINGS 算法. . . . . . . . . . . . . . . . . . . . . . . . 222

8.5 完美抽样. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225

8.6 马尔科夫链极大似然. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228

8.7 例子:马尔科夫随机域上的MCMC 算法. . . . . . . . . . . . . . . . . . . . . . . . 229

习题. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238

第三部分Bootstrapping 243

第9 章Bootstrapping 245

9.1 Bootstrap 的基本原则. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245

9.2 基本方法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246

9.3 Bootstrap 推断. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250

9.4 缩减蒙特卡洛误差. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258

9.5 相依数据的Bootstrapping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259

9.6 Bootstrap 的性质. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269

9.7 Bootstrap 方法的其他用途. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270

9.8 置换检验. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271

习题. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272

第四部分密度估计和光滑方法275

第10章非参密度估计277

10.1 绩效度量. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 278

10.2 核密度估计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279

10.3 非核方法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291

10.4 多元方法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293

习题. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .306

第11章二元光滑方法309

第12章多元光滑方法334

参考文献

索引