本书的翻译和出版为国内读者提供了一个了解信息几何领域知识的媒介，可作为高等院校数学、信息科学等专业本科、研究生教材或学习参考书，也可供从事数学和信息科学等相关学科研究人员参考。希望读者可以通过阅读本书了解信息几何的基础知识、理论框架和应用方法，并进行研究与探讨，用于解决实际问题。

更多科学出版社服务，请扫码获取。

何元智，博士，研究员，军事科学院首席专家，国家中青年科技领军人才，博士生导师。长期从事卫星通信系统理论研究、体系设计和关键技术攻关工作。获国家和省部级科技进步一等奖9项。入选国家百千万人才工程，获何梁何利科技创新奖、中国青年科技奖特别奖、中国青年女科学家奖、“求是”奖、钱学森杰出贡献奖

目录
第一部分 散度函数的几何：对偶平坦的黎曼结构
第1章 流形、散度、对偶平坦结构 3
1.1 流形 3
1.1.1 流形及坐标系 3
1.1.2 流形示例 4
1.2 两点之间的散度 8
1.2.1 散度 8
1.2.2 散度的例子 9
1.3 凸函数和布雷格曼散度 10
1.3.1 凸函数 10
1.3.2 布雷格曼散度 11
1.4 勒让德变换 13
1.5 由凸函数导出的对偶平坦黎曼结构 16
1.5.1 仿射和对偶仿射坐标系 16
1.5.2 切空间、基向量和黎曼度量 17
1.5.3 向量平移 20
1.6 广义勾股定理和投影定理 20
1.6.1 广义勾股定理 20
1.6.2 投影定理 22
1.6.3 子流形之间的散度：交替最小化算法 23
第2章 概率分布的指数族和混合族 26
2.1 概率分布的指数族 26
2.2 指数族例子：高斯分布和离散分布 28
2.2.1 高斯分布 29
2.2.2 离散分布 29
2.3 概率分布的混合族 31
2.4 平坦结构：e-平坦和-平坦 32
2.5 关于概率分布的无限维流形 33
2.6 核指数族 36
2.7 布雷格曼散度和指数族 37
2.8 勾股定理的应用 38
2.8.1 最大熵原理 38
2.8.2 互信息 39
2.8.3 重复观测值和最大似然估计值 40
第3章 概率分布流形的不变几何 43
3.1 不变性标准 43
3.2 粗粒化下的信息单调性 44
3.2.1 粗粒化和Sn的充分统计量 44
3.2.2 不变散度 45
3.3 Sn中f-散度的例子 48
3.3.1 KL散度 48
3.3.2 χ2-散度 48
3.3.3 α-散度 48
3.4 f-散度和KL散度的基本性质 49
3.4.1 f-散度的性质 49
3.4.2 KL散度的性质 50
3.5 Fisher信息：唯一不变的度量 52
3.6 正测度流形中的f-散度 56
第4章 α-几何、Tsallis q-熵与正定矩阵 59
4.1 不变平坦散度 59
4.1.1 KL散度具有唯一性 59
4.1.2 α-散度在*中具有唯一性 59
4.2 Sn 和*的α-几何 62
4.2.1 Rn+中的α-测地线和α-勾股定理 62
4.2.2 Sn中的α-测地线 63
4.2.3 Sn中的α-勾股定理和α-投影定理 63
4.2.4 α-散度的分配 64
4.2.5 α-均值 64
4.2.6 α-概率分布族 67
4.2.7 α-积分的最优性 69
4.2.8 专家α-积分应用 70
4.3 Tsallis q-熵的几何 71
4.3.1 q-对数和q-指数函数 71
4.3.2 概率分布的q-指数族（α-族） 72
4.3.3 q-伴随几何 73
4.3.4 变形指数族：χ-伴随几何 75
4.3.5 q-伴随几何的共形特征 77
4.4 （u,v）-散度：正测度流形中的对偶平坦散度 78
4.4.1 可分解（u,v）-散度 78
4.4.2 ＊中的一般（u,v）平坦结构 81
4.5 正定矩阵流形的不变平坦散度 82
4.5.1 Gl（n）下的布雷格曼散度和不变性 82
4.5.2 O（n）的不变平坦可分解散度 83
4.5.3 非平坦不变散度 86
4.6 其他各项散度.87
4.6.1 γ-散度 87
4.6.2 其他类型的（α,β）-散度.87
4.6.3 Burbea-Rao散度和Jensen-Shannon散度 88
4.6.4 （ρ,τ）结构和（F,G,H）-结构 88
第二部分 对偶微分几何导论
第5章 微分几何元素 93
5.1 流形和切空间 93
5.2 黎曼度量 95
5.3 仿射联络 95
5.4 张量 97
5.5 协变导数 99
5.6 测地线 100
5.7 向量平移 101
5.8 黎曼-克里斯托费尔曲率 102
5.8.1 向量的环球移动 102
5.8.2 协变导数与 RC 曲率 105
5.8.3 平坦流形 106
5.9 Levi-Civita联络106
5.10 子流形和嵌入曲率 108
5.10.1 子流形 108
5.10.2 嵌入曲率 110
第6章 对偶仿射联络与对偶平坦流形 113
6.1 对偶联络 113
6.2 由散度导出的度量和三阶张量 115
6.3 不变度量和三阶张量 117
6.4 α-几何 117
6.5 对偶平坦流形 118
6.6 对偶平坦流形中的正则散度 119
6.7 对偶联络一般流形上的正则散度 122
6.8 平坦流形与混合坐标的对偶叶理 124
6.8.1 对偶坐标系统的k-划分：混合坐标与叶理 124
6.8.2 正则散度的分解 126
6.8.3 一个简单的说明性例子：神经放电 126
6.8.4 神经元尖峰的高阶相互作用 128
6.9 系统复杂性和信息集成 130
6.10 经济学中的投入产出分析 137
第三部分 统计推断的信息几何学
第7章 统计推断的渐近理论 143
7.1 估计 143
7.2 指数族的估计 144
7.3 曲线指数族的估计 145
7.4 估计的一阶渐近理论 148
7.5 估计的高阶渐近理论 150
7.6 假设检验的渐近理论 152
第8章 隐变量存在时的估计 155
8.1 EM算法 155
8.1.1 具有隐变量的统计模型 155
8.1.2 模型流形和数据流形之间的最小化散度 158
8.1.3 期望最大化算法 159
8.1.4 示例：混合高斯 160
8.2 数据缩减造成的信息损失 160
8.3 基于错误统计模型的估计 161
第9章 Neyman-Scott问题：估计函数和半参数统计模型 165
9.1 包含冗余参数的统计模型 165
9.2 Neyman-Scott问题和半参数 168
9.3 估计函数 171
9.4 估计函数的信息几何 173
9.5 Neyman-Scott问题的解法 179
9.5.1 指数情况下的估计函数 179
9.5.2 线性相关系数 180
9.5.3 标量问题 182
9.5.4 单个神经元的时间放电模式 184
第10章 线性系统和时间序列 187
10.1 固定时间序列和线性系统 187
10.2 典型时间序列的有限维流形 189
10.3 系统流形的对偶几何结构 190
10.4 AR,MA,ARMA模型的几何图形 194
第四部分 信息几何学的应用
第11章 机器学习.201
11.1 聚类模式 201
11.1.1 模式空间和散度 201
11.1.2 聚类中心.202
11.1.3 k-均值：聚类算法 203
11.1.4 Voronoi图 204
11.1.5 分类和聚类的随机版本 205
11.1.6 鲁棒的聚类中心 207
11.1.7 模式识别中错误概率的渐近评估：切尔诺夫信息 209
11.2 支持向量机几何 211
11.2.1 线性分类器 211
11.2.2 嵌入高维空间 213
11.2.3 核方法 214
11.2.4 由核导出的黎曼度量 215
11.3 随机推理：置信传播和凹凸计算过程算法 217
11.3.1 图形模型 217
11.3.2 平均场近似和m-投影 219
11.3.3 置信传播 222
11.3.4 BP 算法求解 224
11.3.5 凹凸计算过程 226
11.4 Boosting的信息几何 227
11.4.1 Boosting：弱机器集成 227
11.4.2 机器的随机解释 228
11.4.3 构建新弱机器 229
11.4.4 弱机器权值的确定 229
11.5 贝叶斯推理和深度学习 231
11.5.1 指数族中的贝叶斯对偶性 231
11.5.2 受限玻尔兹曼机 233
11.5.3 受限玻尔兹曼机的无监督学习 235
11.5.4 对比散度的几何学 238
11.5.5 高斯受限玻尔兹曼机 240
第12章 奇异区域中的自然梯度学习及其动态 243
12.1 自然梯度随机下降学习 243
12.1.1 在线学习和批量学习 243
12.1.2 自然梯度：黎曼流形中最陡的下降方向 245
12.1.3 黎曼度量、Hessian和绝对Hessian 248
12.1.4 优化问题的随机松弛 249
12.1.5 强化学习中的自然策略梯度 249
12.1.6 镜面下降和自然梯度 252
12.1.7 自然梯度学习的性质 252
12.2 学习中的奇点：多层感知器 257
12.2.1 多层感知器 258
12.2.2 M 中的奇点 259
12.2.3 M 中的学习动态 263
12.2.4 动态的临界减速 266
12.2.5 自然梯度学习不存在高原 269
12.2.6 奇异统计模型 270
12.2.7 贝叶斯推理和奇异模型 272
第13章 信号处理和优化 275
13.1 主成分分析 275
13.1.1 特征值分析 275
13.1.2 主成分、次成分与白化 276
13.1.3 主次成分动态性 278
13.2 独立成分分析 281
13.3 非负矩阵分解 291
13.4 稀疏信号处理 294
13.4.1 线性回归与稀疏解 294
13.4.2 L1约束下凸函数的极小化 296
13.4.3 求解路径分析 298
13.4.4 闵可夫斯基梯度流 300
13.4.5 欠定情况 301
13.5 凸规划的优化 302
13.5.1 凸规划 302
13.5.2 由障碍函数推导出的对偶平面结构 303
13.5.3 计算复杂度和m-曲率 304
13.6 源自博弈论的对偶几何 305
13.6.1 博弈得分的最小化 305
13.6.2 Hyvarinen得分 309
参考文献 314
《现代数学译丛》已出版书目 329