本书系统地阐述机器学习的数学基础知识，但并非大学数学教材的翻版，而是以机器学习算法为依据，选取数学知识，并从应用的角度阐述各种数学定义、定理等，侧重于讲清楚它们的应用和实现方法。所以，书中将使用开发者喜欢的编程语言（Python）来实现各种数学计算，并阐述数学知识在机器学习算法中的应用体现。

齐伟，耕耘于代码世界，以Web开发和人工智能技术为主要方向，研发、教学、写作并举，已经出版了《跟老齐学Python：轻松入门》《跟老齐学Python：Django实战》《跟老齐学Python：数据分析》《数据准备和特征工程》《Python大学实用教程》。

目录

第1章 向量和向量空间 1
1.1 向量 2
1.1.1 描述向量 3
1.1.2 向量的加法 10
1.1.3 向量的数量乘法 12
1.2 向量空间 14
1.2.1 什么是向量空间 14
1.2.2 线性组合 16
1.2.3 线性无关 17
1.2.4 子空间 23
1.3 基和维数 25
1.3.1 极大线性无关组 25
1.3.2 基 26
1.3.3 维数 32
1.4 内积空间 34
1.4.1 什么是内积空间 34
1.4.2 点积和欧几里得空间 36
1.5 距离和角度 38
1.5.1 距离 38
1.5.2 基于距离的分类 43
1.5.3 范数和正则化 46
1.5.4 角度 49
1.6 非欧几何 51

第2章 矩阵 54
2.1 基础知识 55
2.1.1 什么是矩阵 55
2.1.2 初等变换 59
2.1.3 矩阵加法 62
2.1.4 数量乘法 63
2.1.5 矩阵乘法 65
2.2 线性映射 70
2.2.1 理解什么是线性 70
2.2.2 线性映射 72
2.2.3 矩阵与线性映射 76
2.2.4 齐次坐标系 79
2.3 矩阵的逆和转置 85
2.3.1 逆矩阵 85
2.3.2 转置矩阵 89
2.3.3 矩阵LU分解 91
2.4 行列式 94
2.4.1 计算方法和意义 94
2.4.2 线性方程组 98
2.5 矩阵的秩 102
2.6 稀疏矩阵 107
2.6.1 生成稀疏矩阵 107
2.6.2 稀疏矩阵压缩 108
2.7 图与矩阵 112
2.7.1 图的基本概念 112
2.7.2 邻接矩阵 114
2.7.3 关联矩阵 119
2.7.4 拉普拉斯矩阵 120

第3章 特征值和特征向量 122
3.1 基本概念 123
3.1.1 定义 123
3.1.2 矩阵的迹 127
3.1.3 一般性质 128
3.2 应用示例 129
3.2.1 动力系统微分方程 129
3.2.2 马尔科夫矩阵 131
3.3 相似矩阵 135
3.3.1 相似变换 137
3.3.2 几何理解 141
3.3.3 对角化 144
3.4 正交和投影 150
3.4.1 正交集和标准正交基 150
3.4.2 正交矩阵 154
3.4.3 再探对称矩阵 156
3.4.4 投影 159
3.5 矩阵分解 163
3.5.1 QR分解 163
3.5.2 特征分解 167
3.5.3 奇异值分解 172
3.5.4 数据压缩 178
3.5.5 降噪 182
3.6 最小二乘法（1） 184
3.6.1 正规方程 184
3.6.2 线性回归（1） 186

第4章 向量分析 191
4.1 向量的代数运算 192
4.1.1 叉积 192
4.1.2 张量和外积 196
4.2 向量微分 199
4.2.1 函数及其导数 199
4.2.2 偏导数 201
4.2.3 梯度 206
4.2.4 矩阵导数 211
4.3 最优化方法 215
4.3.1 简单的线性规划 215
4.3.2 最小二乘法（2） 218
4.3.3 梯度下降法 221
4.3.4 线性回归（2） 226
4.3.5 牛顿法 228
4.4 反向传播算法 229
4.4.1 神经网络 230
4.4.2 参数学习 234
4.4.3 损失函数 248
4.4.4 激活函数 253
4.4.5 理论推导 258

第5章 概率 263
5.1 基本概念 264
5.1.1 试验和事件 264
5.1.2 理解概率 266
5.1.3 条件概率 269
5.2 贝叶斯定理 272
5.2.1 事件的独立性 273
5.2.2 全概率公式 274
5.2.3 理解贝叶斯定理 276
5.3 随机变量和概率分布 279
5.3.1 随机变量 279
5.3.2 离散型随机变量的分布 281
5.3.3 连续型随机变量的分布 295
5.3.4 多维随机变量及分布 307
5.3.5 条件概率分布 312
5.4 随机变量的和 317
5.4.1 离散型随机变量的和 317
5.4.2 连续型随机变量的和 318
5.5 随机变量的数字特征 321
5.5.1 数学期望 321
5.5.2 方差和协方差 326
5.5.3 计算相似度 337
5.5.4 协方差矩阵 343

第6章 数理统计 346
6.1 样本和抽样 347
6.1.1 总体和样本 347
6.1.2 统计量 348
6.2 点估计 353
6.2.1 最大似然估计 354
6.2.2 线性回归（3） 358
6.2.3 最大后验估计 362
6.2.4 估计的选择标准 365
6.3 区间估计 368
6.4 参数检验 373
6.4.1 基本概念 374
6.4.2 正态总体均值的假设检验 378
6.4.3 正态总体方差的假设检验 384
6.4.4 p值检验 385
6.4.5 用假设检验比较模型 388
6.5 非参数检验 391
6.5.1 拟合优度检验 391
6.5.2 列联表检验 394

第7章 信息与熵 399
7.1 度量信息 399
7.2 信息熵 402
7.3 联合熵和条件熵 406
7.4 相对熵和交叉熵 409
7.5 互信息 414
7.6 连续分布 416

附录A 419
后记 436