为了适应和持续推动人工智能学科和多学科交叉领域的新发展，本书遵循“理论化—典型化—应用化”的思路，秉持以理论学习和工程应用为主要背景论述深度学习基础理论、方法和应用的宗旨，结合团队多年领域研究和课堂教学实践，从深度神经网络的核心结构和原理出发，阐述了典型神经网络及其实际应用。
全书分为四部分，共16章。其中，深度学习理论概述部分(第1章)分析了人工智能的历史、发展与现状；深度学习模型基础部分（第2~8章)从神经网络的基础出发，讨论了人工神经网络的结构、原理、性质与典型应用，并依序详细回顾了反向传播算法、卷积神经网络、自编码网络、Hopfield神经网络、循环神经网络等几类基本网络的功能、结构、算法与典型应用； 深度学习进阶部分（第9~14章)分别对残差网络、生成式对抗网络、深度强化学习、图神经网络、多尺度深度几何网络、Transformer网络进行了介绍；
深度学习实战和展望部分（第15和16章)简述了几种深度学习实验平台、工具的实例与方法，并在深度学习总结与展望中对深度学习的发展历程进行了回顾，展望了深度学习未来的发展方向。
本书可用于人工智能、智能科学与技术、大数据科学与技术、智能机器人、电子科学与技术、人工智能技术服务等领域相关专业本科生或研究生的实践教学，也可供相关专业技术人员参考。
受生物神经网络的启发，人工神经网络通过模拟人脑工作的分布式协同并行机制来处理复杂任务，成为人工智能领域重要的研究方向。为了提升神经网络的“智力水平”，将神经网络由“浅”做“深”，网络的结构设计成为领域中重要的研究课题。卷积神经网络通过局部连接、权值共享等思想约减参数量，扩展了网络深度，开启了“深度学习时代”。现在，深度学习指使用深度神经网络， 通过训练从大量数据中学习知识，它是人工智能领域最热门的研究方向。
深度神经网络设计范式中，一方面， 通过多通路、并行化的网络设计来削弱单纯增加“深度”带来的种种问题，将塔式结构、对称性等融入网络的设计过程中；另一方面， 深度生成模型(如生成式对抗网络和变分自编码器等)可以通过生成训练数据集的概率密度函数来实现数据扩充。深度学习与强化学习优势互补，形成了更接近人类思维方式的深度强化学习，为复杂系统的感知决策问题提供了解决思路。图域信息处理中的图神经网络对于非欧几里得数据的图谱结构数据能够很好地进行表示，同时具有较好的性能与可解释性，也走向了和深度学习的融合之路。
在人工智能领域的深度学习研究如火如荼展开的同时，它在交叉领域也得到了广泛应用：深度神经网络在物理、医学、天文、航空航天等学科中成为新的研究工具，并催生了一批新方法和新成果。从未有如此多领域的研究人员和行业从业人员都涉猎神经网络的拓展应用，从未有如此多的年轻学生对神经网络投入学习热情。
为了适应和持续推动学科和领域的新发展，本团队秉持以理论学习和工程应用为主要背景论述深度学习基础理论、方法和应用的宗旨，结合团队多年领域研究和课堂教学实践，编写了本书。本书从深度学习的模型基础出发， 阐述了深度学习的范畴、基本原理等内容， 汇集了一批经典的、目前仍在神经科学研究领域中得到广泛应用的技术方法，以及一些当前正在兴起的、已处于应用阶段或正待完善的新的研究技术。本书的编写遵循“理论化—典型化—应用化”的思路，章节安排都从深度神经网络的核心结构和原理出发，引出典型神经网络，最后给出实际应用。
本书的出版离不开团队多位老师和研究生的支持与帮助，感谢团队中侯彪、刘静、公茂果、王爽、张向荣、吴建设、缑水平、梁雪峰、尚荣华、刘波、刘若辰等教授以及马晶晶、马文萍、白静、朱虎明、田小林、张小华、曹向海等副教授对我们的关心支持与辛勤付出。感谢张丹、唐旭、任博、刘旭、冯志玺等老师在学术交流过程中无私地付出。
感谢西安电子科技大学智能感知与图像理解教育部重点实验室、智能感知与计算国际合作联合实验室、 智能感知与计算国际联合研究中心、教育部创新团队和国家“111”创新引智基地的支持；同时，我们的工作也得到了国家自然科学基金创新研究群体基金（61621005）、国家自然科学基金重点项目（61836009）、国家自然科学基金重大研究计划（91438201）、国防科技173计划项目、国家自然科学基金（62076192、61902298、61906150、62006177）、教育部规划项目、教育部“111”引智计划（B07048）、教育部长江学者创新研究团队计划（IRT 15R53）、陕西省创新团队（2020TD017）、陕西省重点研发计划（2019ZDLGY0306）等科研项目的支持，特此感谢。还要特别感谢西安电子科技大学出版社的大力支持和帮助，衷心感谢毛红兵老师、 高维岳老师及其他编辑老师付出的辛勤劳动与努力， 还要感谢书中所有被引用文献的作者。
20世纪90年代初我们出版了《神经网络系统理论》《神经网络计算》《神经网络的应用与实现》等系列专著。三十多年来人工神经网络已经取得了长足的进步，本书在之前的研究基础上对近年来神经网络的发展现状及研究趋势进行概括和阐述，取材和安排完全源于作者的偏好。由于水平有限，书中不妥之处在所难免，恳请广大读者批评指正。
作 者
2023年8月于西安电子科技大学
第1章 绪论 1
1.1 人工智能 1
1.1.1 人工智能 1
1.1.2 人工神经网络与人工智能的区别 8
1.1.3 人工神经网络与人工智能的互补性 9
1.2 机器学习 10
1.2.1 第一次研究高潮 10
1.2.2 第二次研究高潮 15
1.2.3 神经网络: 最近30年 18
1.3 深度学习 23
本章参考文献 23
第2章 神经网络基础 26
2.1 神经元 26
2.1.1 生物神经元 26
2.1.2 McCullochPitts神经元 27
2.2 卷积层 33
2.3 池化层 36
2.4 正则化 38
2.5 梯度下降法 38
2.5.1 线性单元的梯度下降法 38
2.5.2 随机梯度下降法 41
本章参考文献 42
第3章 反向传播算法 43
3.1 反向传播机制 43
3.2 反向传播算法性能分析 47
3.3 改进的反向传播算法 48
3.3.1 带动量项自适应变步长BP算法(ABPM) 48
3.3.2 同伦BP算法(HBP) 49
3.3.3 LMBP算法 49
3.4 反向传播算法实现的几点说明 50
本章参考文献 51
第4章 卷积神经网络（一） 52
4.1 结构和学习算法 52
4.1.1 卷积神经网络的结构 52
4.1.2 卷积神经网络的学习算法 54
4.2 两种经典的卷积神经网络 55
4.2.1 LeNet 55
4.2.2 AlexNet 56
4.3 案例与实践 57
4.3.1 图像语义分割 57
4.3.2 目标检测 59
4.3.3 目标跟踪 61
本章参考文献 63
第5章 卷积神经网络（二） 64
5.1 卷积神经网络的结构和原理 64
5.1.1 卷积运算 64
5.1.2 池化操作 65
5.1.3 激活函数 66
5.1.4 损失函数 66
5.2 几种经典的深度卷积神经网络 66
5.2.1 VGG 66
5.2.2 GoogLeNet 68
5.3 案例与实践 71
5.3.1 图像分类 71
5.3.2 图像分割 72
5.3.3 目标检测 73
本章参考文献 76
第6章 自编码网络 77
6.1 自编码网络的结构 77
6.2 自编码网络的原理 78
6.3 几种经典的自编码网络 79
6.3.1 稀疏自编码(SAE) 79
6.3.2 收缩自编码(CAE) 80
6.3.3 栈式自编码(SA) 81
6.4 案例与实践 82
6.4.1 图像分类 82
6.4.2 目标检测 84
6.4.3 目标跟踪 86
本章参考文献 87
第7章 Hopfield神经网络 89
7.1 Hopfield神经网络的结构 89
7.2 Hopfield反馈神经网络的原理 91
7.3 Hopfield反馈神经网络的非线性动力学 95
7.3.1 状态轨迹为网络的稳定点 96
7.3.2 状态轨迹为极限环 97
7.3.3 状态轨迹为混沌状态 98
7.3.4 状态轨迹发散 98
7.4 案例与实践 98
7.4.1 TSP问题 98
7.4.2 图像分割 100
7.4.3 人脸识别 101
本章参考文献 104
第8章 循环神经网络 106
8.1 循环神经网络的结构 106
8.2 循环神经网络的原理 108
8.3 几种经典的循环神经网络 109
8.3.1 长短时记忆网络(LSTM) 109
8.3.2 双向循环神经网络(BiRNN) 110
8.3.3 深度双向循环神经网络(Deep BiRNN) 111
8.4 案例与实践 112
8.4.1 自动问答 112
8.4.2 文本摘要生成 114
8.4.3 目标跟踪 117
本章参考文献 119
第9章 残差网络 121
9.1 结构和原理 121
9.1.1 残差网络的结构 121
9.1.2 残差网络的原理 123
9.2 几种经典的残差网络 124
9.2.1 宽剩余网络 124
9.2.2 深度残差金字塔网络 127
9.2.3 空洞残差网络 131
9.3 案例与实践 133
9.3.1 图像分类 133
9.3.2 图像分割 135
9.3.3 目标检测 138
本章参考文献 139
第10章 生成式对抗网络 141
10.1 结构和原理 141
10.1.1 生成式对抗网络的原理 141
10.1.2 生成式对抗网络的结构 141
10.2 几种经典的生成式对抗网络 145
10.2.1 信息最大化生成对抗网络(InfoGAN) 145
10.2.2 条件生成对抗网络(CGAN) 146
10.2.3 深度卷积生成对抗网络(DCGAN) 146
10.2.4 循环一致性生成对抗网络(CycleGAN) 147
10.3 案例与实践 149
10.3.1 数据增强 149
10.3.2 图像补全(修复) 150
10.3.3 文本翻译成图像 152
本章参考文献 154
第11章 深度强化学习 156
11.1 结构和原理 156
11.1.1 深度强化学习的结构 156
11.1.2 深度强化学习的原理 157
11.2 几种经典的深度强化学习网络 160
11.2.1 基于卷积神经网络的深度强化学习 160
11.2.2 基于递归神经网络的深度强化学习 162
11.3 案例与实践 164
11.3.1 玩Atari游戏 164
11.3.2 目标检测 165
11.3.3 目标跟踪 167
本章参考文献 171
第12章 图神经网络 172
12.1 结构和原理 172
12.1.1 图神经网络的结构 172
12.1.2 图神经网络的原理 173
12.2 几种经典的图神经网络 176
12.2.1 基于空间域的图卷积神经网络 177
12.2.2 基于谱域的图卷积神经网络 181
12.2.3 图注意力网络 182
12.3 案例与实践 184
12.3.1 图像分类 184
12.3.2 目标检测 187
12.3.3 语义分割 190
本章参考文献 191
第13章 多尺度深度几何网络 194
13.1 多尺度分析 194
13.1.1 小波神经网络 195
13.1.2 多小波网络 196
13.2 多尺度几何网络 201
13.2.1 方向多分辨脊波网络 202
13.2.2 深度曲线波散射网络 209
13.2.3 轮廓波卷积神经网络 211
13.3 案例与实践 213
13.3.1 极化SAR图像分类 213
13.3.2 SAR图像目标检测 216
本章参考文献 218
第14章 Transformer网络 221
14.1 Transformer基础知识 221
14.1.1 Transformer的介绍 221
14.1.2 Transformer的结构和原理 221
14.2 常见的Transformer变体 225
14.2.1 基于模型架构的改进 226
14.2.2 基于其他模块级的改进 227
14.3 案例与实践 228
14.3.1 图像分类 228
14.3.2 图像分割 229
14.3.3 目标检测 232
本章参考文献 233
第15章 深度学习实验平台 235
15.1 Pytorch 235
15.1.1 平台介绍与应用优势 235
15.1.2 常用的工具包 236
15.1.3 编码实例 236
15.2 Tensorflow 239
15.2.1 平台介绍与应用优势 239
15.2.2 编码实例 240
15.2.3 Keras API接口实例 242
第16章 总结与展望 244
16.1 深度学习的发展历程 244
16.2 深度学习的未来方向 246
本章参考文献 247
书单推荐
