本书是关于神经网络的经典教材，完整、详细地讨论了各个主题，且包含了相关的计算机实验。全书共15章，主要内容包括神经网络的定义、Rosenblatt感知器、回归建模、最小均方算法、多层感知器、核方法和径向基函数网络、支持向量机、正则化理论、主成分分析、自组织映射、信息论学习模型、源于统计力学的随机方法、动态规划、神经动力学、动态系统状态估计的贝叶斯滤波、动态驱动递归网络。本书适合高等院校计算机、电子信息、软件工程、智能工程等专业的高年级本科生和研究生学习使用，也可供相关领域的技术人员参考。

Simon Haykin（西蒙·赫金），国际电子电气工程界著名学者，加拿大皇家学会院士，IEEE会士，1953年获得英国伯明翰大学博士学位，现任加拿大麦克马斯特大学教授，在麦克马斯特大学校创办了通信研究实验室并长期担任实验室主任。曾获IEEE McNaughton奖，在神经网络、通信、自适应滤波器等领域成果颇丰，著有多种标准教材。
Simon Haykin（西蒙·赫金），国际电子电气工程界著名学者，加拿大皇家学会院士，IEEE会士，1953年获得英国伯明翰大学博士学位，现任加拿大麦克马斯特大学教授，在麦克马斯特大学校创办了通信研究实验室并长期担任实验室主任。曾获IEEE McNaughton奖，在神经网络、通信、自适应滤波器等领域成果颇丰，著有多种标准教材。

第0章　导言 1
0.1　什么是神经网络 1
0.2　人脑 6
0.3　神经元模型 10
0.4　视为有向图的神经网络 15
0.5　反馈 18
0.6　网络架构 21
0.7　知识表征 24
0.8　学习过程 34
0.9　学习任务 38
0.10小结 45
注释和参考文献 46

第1章　Rosenblatt感知器 47
1.1　引言 47
1.2　感知器 48
1.3　感知器收敛定理 50
1.4　高斯环境下感知器与贝叶斯分类器的关系 55
1.5　计算机实验：模式分类 60
1.6　批量感知器算法 62
1.7　小结和讨论 65
注释和参考文献 66
习题 66

第2章　回归建模 68
2.1　引言 68
2.2　线性回归模型：初步考虑 69
2.3　参数向量的后验估计 71
2.4　正则化最小二乘估计和MAP估计的关系 76
2.5　计算机实验：模式分类 77
2.6　最小描述长度原则 79
2.7　有限样本量考虑 82
2.8　辅助变量法 86
2.9　小结和讨论 88
注释和参考文献 89
习题 89

第3章　最小均方算法 91
3.1　引言 91
3.2　LMS算法的滤波结构 92
3.3　无约束优化：综述 94
3.4　维纳滤波器 100
3.5　最小均方算法 102
3.6　描述LMS算法和维纳滤波器的偏差的马尔可夫模型 104
3.7　朗之万方程：布朗运动的特点 106
3.8　库什纳直接平均法 107
3.9　小学习率参数的统计LMS学习理论 108
3.10 计算机实验I：线性预测 110
3.11 计算机实验II：模式分类 112
3.12 LMS算法的优缺点 113
3.13 学习率退火过程 115
3.14 小结和讨论 117
注释和参考文献 118
习题 119

第4章　多层感知器 122
4.1 引言 123
4.2 预备知识 124
4.3 批量学习和在线学习 126
4.4 反向传播算法 129
4.5 异或问题 141
4.6 提升反向传播算法性能的启发式方法 144
4.7 计算机实验：模式分类 150
4.8 反向传播与微分 153
4.9 海森矩阵及其对在线学习的作用 155
4.10 学习率的最优退火和自适应控制 157
4.11 泛化 164
4.12 函数逼近 166
4.13 交叉验证 171
4.14 复杂度正则化和网络剪枝 175
4.15 反向传播学习的优缺点 180
4.16 视为优化问题的监督学习 186
4.17 卷积网络 201
4.18 非线性滤波 203
4.19 大小规模学习问题 209
4.20 小结和讨论 217
注释和参考文献 219
习题 221

第5章　核方法和径向基函数网络 230
5.1 引言 230
5.2 模式可分性的Cover定理 231
5.3 插值问题 236
5.4 径向基函数网络 239
5.5 均值聚类 242
5.6 权重向量的递归最小二乘估计 245
5.7 RBF网络的混合学习过程 249
5.8 计算机实验：模式分类 250
5.9 高斯隐藏单元的说明 252
5.10 核回归及其与RBF网络的关系 255
5.11 小结和讨论 259
注释和参考文献 261
习题 263

第6章　支持向量机 268
6.1 引言 268
6.2 线性可分模式的最优超平面 269
6.3 不可分模式的最优超平面 276
6.4 视为核机器的支持向量机 281
6.5 构建支持向量机 284
6.6 异或问题 286
6.7 计算机实验：模式分类 289
6.8 回归：鲁棒性考虑 289
6.9 线性回归问题的最优解 293
6.10 表示定理和相关问题 296
6.11 小结和讨论 302
注释和参考文献 304
习题 307

第7章　正则化理论 313
7.1 引言 313
7.2 哈达玛适定性条件 314
7.3 Tikhonov的正则化理论 315
7.4 正则化网络 326
7.5 广义径向基函数网络 327
7.6 再论正则化最小二乘估计 331
7.7 关于正则化的其他说明 335
7.8 正则化参数估计 336
7.9 半监督学习 342
7.10 流形正则化：初步考虑 343
7.11 可微流形 345
7.12 广义正则化理论 348
7.13 图谱论 350
7.14 广义表示定理 352
7.15 拉普拉斯正则化最小二乘算法 354
7.16 半监督学习的模式分类实验 356
7.17 小结和讨论 359
注释和参考文献 361
习题 363

第8章　主成分分析 367
8.1 引言 367
8.2 自组织原则 368
8.3 自组织特征分析 372
8.4 主成分分析：微扰理论 373
8.5 基于Hebb的最大特征滤波器 383
8.6 基于Hebb的主成分分析 392
8.7 案例分析：图像编码 398
8.8 核主成分分析 401
8.9 自然图像编码的基本问题 406
8.10 核Hebb算法 407
8.11 小结和讨论 412
注释和参考文献 415
习题 418

第9章 自组织映射 425
9.1 引言 425
9.2 两个基本特征映射模型 426
9.3 自组织映射 428
9.4 特征映射的性质 437
9.5 计算机实验I：利用SOM求解点阵动力学 445
9.6 上下文映射 447
9.7 分层向量量化 450
9.8 核自组织映射 454
9.9 计算机实验II：使用核SOM求解点阵动力学 462
9.10 核SOM与KL散度的关系 464
9.11 小结和讨论 466
注释和参考文献 468
习题 470

第10章 信息论学习模型 475
10.1 引言 476
10.2 熵 477
10.3 最大熵原则 481
10.4 互信息 484
10.5 KL散度 486
10.6 Copula函数 489
10.7 作为待优化目标函数的互信息 493
10.8 最大互信息原理 494
10.9 最大互信息与冗余减少 499
10.10 空间相干特征 501
10.11 空间非相干特征 504
10.12 独立成分分析 508
10.13 自然图像的稀疏编码与ICA编码比较 514
10.14 独立成分分析的自然梯度学习 516
10.15 独立成分分析的最大似然估计 526
10.16 盲源分离的最大熵学习 529
10.17 独立成分分析的负熵的最大化 534
10.18 相干独立成分分析 541
10.19 率失真理论与信息瓶颈 549
10.20 数据的最优流形表示 553
10.21 计算机实验：模式分类 560
10.22 小结和讨论 561
注释和参考文献 564
习题 572

第11章 源于统计力学的随机方法 579
11.1 引言 580
11.2 统计力学 580
11.3 马尔可夫链 582
11.4 Metropolis算法 591
11.5 模拟退火 594
11.6 吉布斯采样 596
11.7 玻尔兹曼机 598
11.8 逻辑置信网络 604
11.9 深度置信网络 606
11.10 确定性退火 610
11.11 确定性退火与期望最大化算法的类比 616
11.12 小结和讨论 617
注释和参考文献 619
习题 621

第12章　动态规划 627
12.1 引言 627
12.2 马尔可夫决策过程 629
12.3 贝尔曼最优性准则 631
12.4 策略迭代 635
12.5 值迭代 637
12.6 近似动态规划：直接法 642
12.7 时序差分学习 643
12.8 Q学习 648
12.9 近似动态规划：间接法 652
12.10 最小二乘策略评估 655
12.11 近似策略迭代 660
12.12 小结和讨论 663
注释和参考文献 665
习题 668

第13章　神经动力学 672
13.1 引言 672
13.2 动力系统 674
13.3 平衡状态的稳定性 678
13.4 吸引子 684
13.5 神经动力学模型 686
13.6 作为一个递归网络范式的吸引子操作 689
13.7 Hopfield模型 690
13.8 Cohen-Grossberg定理 703
13.9 盒中脑状态模型 705
13.10 奇异吸引子与混沌 711
13.11 混沌过程的动态重建 716
13.12 小结和讨论 722
注释和参考文献 724
习题 727

第14章　动态系统状态估计的贝叶斯滤波 731
14.1 引言 731
14.2 状态空间模型 732
14.3 卡尔曼滤波器 736
14.4 发散现象与平方根滤波 744
14.5 扩展卡尔曼滤波器 750
14.6 贝叶斯滤波器 755
14.7 容积卡尔曼滤波器：基于卡尔曼滤波器 759
14.8 粒子滤波器 765
14.9 计算机实验：扩展卡尔曼滤波器与粒子滤波器的比较 775
14.10 脑功能建模中的卡尔曼滤波 777
14.11 小结和讨论 780
注释和参考文献 782
习题 784

第15章　动态驱动递归网络 790
15.1 引言 790
15.2 递归网络架构 791
15.3 万能逼近定理 797
15.4 可控性和可观察性 799
15.5 递归网络的计算能力 804
15.6 学习算法 806
15.7 时间反向传播 808
15.8 实时递归学习 812
15.9 递归网络中的梯度消失 818
15.10 使用非线性序列状态估计的递归网络的监督训练框架 822
15.11 计算机实验：Mackay-Glass吸引子的动态重建 829
15.12 适应性考虑 831
15.13 案例分析：应用于神经网络控制的模型参考 833
15.14 小结和讨论 835
注释和参考文献 839
习题 842

参考文献 847