深度学习是人工智能领域无法避开的课题之一，也是比较强大的方法之一。很多从事算法工作或相关工作的人，或多或少都在应用深度学习方法解决相关领域的问题。本书针对深度学习知识做进阶性探讨。通过11章内容，对卷积网络、新型结构、注意力机制、模型压缩、自监督学习、目标检测中的高级技巧、无监督学习、Transformer高级篇，以及图神经网络和元学习进行了深入的探讨，最后对深度学习的未来发展进行了展望。

翟中华清华大学经管学院《创新创业实验室》实践项目指导老师、北京洪策元创智能科技有限公司CEO、AI火箭营首席讲师。毕业于清华大学，长期从事机器学习、深度学习等方面的工作，先后在互联网、互联网金融等行业公司主持技术工作，曾在互联网征信、大数据等行业公司任技术总监。在AI火箭营讲授的课程《深度学习理论与Pytorch实践》广受好评。自ChatGPT发布以来，积极布局GPT技术与应用，已在国外先进开源模型基础上训练中文自研模型，开发了智能客服、智能律师助手、智能问诊助理等行业大模型应用。孙玉龙 科大讯飞工程院高级算法工程师（算法工程序列），本科毕业于华东理工大学统计专业，具备超过10年的专业领域从业经验。曾参与星火大模型项目的支撑工作，积累了丰富的实践经验和知识，致力于为读者提供高价值、高质量的作品。林宇平 毕业于首都经济贸易大学信息管理与信息系统专业，现就职于《财经》杂志社，任创新业务主管，负责全球投资、硬科技和科技投资相关工作。作为腾讯官方认证的AI编程支教讲师，承担相应教学工作。曾任工业和信息化部APEC中小企业信息化促进中心副研究员。对计算机科学、自然语言处理基础理论与实践及教学方法有独到见解。

第1章 卷积网络 1
1.1 转置卷积 2
1.1.1 概念 2
1.1.2 运算过程 2
1.1.3 应用场景 5
1.2 空洞卷积 7
1.2.1 概念 7
1.2.2 工作原理 8
1.2.3 应用场景 10
1.3 深度可分离卷积 11
1.3.1 概念 11
1.3.2 工作原理 11
1.3.3 应用场景 15
1.4 三维卷积 15
1.4.1 概念 15
1.4.2 工作原理 16
1.4.3 应用场景 19
第2章 新型结构 20
2.1 残余连接 20
2.2 ResNeXt原理及架构 23
2.3 FCN原理及架构 28
2.4 U-Net原理及架构 32
2.5 FPN原理及架构 36
第3章 注意力机制 43
3.1 注意力机制的生物学原理及数学本质 43
3.2 应用于RNN的注意力机制 48
3.3 自注意力的数学支撑：像素间的协方差 53
3.4 自注意力机制的直观展示及举例 58
3.5 Transformer中的注意力机制 60
3.6 挤压激励网络 66
3.7 Transformer编码器代码 69
3.8 Transformer词嵌入中融入位置信息 77
第4章 模型压缩 84
4.1 模型压缩的必要性及常用方法 84
4.2 修剪深度神经网络 87
4.3 模型量化 90
4.4 知识蒸馏 96
4.4.1 知识蒸馏的实现步骤 97
4.4.2 软目标的作用 97
4.4.3 蒸馏“温度” 100
4.4.4 特征蒸馏 102
第5章 自监督学习 105
5.1 什么是自监督学习 105
5.2 Bert中的自监督学习 106
第6章 目标检测中的高级技巧 110
6.1 特征融合 110
6.2 DenseNet与ResNet 111
6.3 晚融合及特征金字塔网络 115
6.4 YOLOv3中的三级特征融合 118
6.5 通过多尺度特征图跳过连接改进SSD方法 120
第7章 无监督学习 123
第8章 Transformer高级篇 125
8.1 计算机视觉中的Transformer 125
8.1.1 什么是ViT 125
8.1.2 ViT详解 127
8.2 DeiT：以合理的方式训练ViT 129
8.3 金字塔视觉Transformer 131
8.3.1 PVT整体架构 132
8.3.2 SRA的实现 133
8.3.3 PVT的改进 134
8.4 Swin Transformer：使用“移动窗口”的分层ViT 136
8.5 视觉Transformer的自监督训练：DINO 140
8.5.1 DINO架构 140
8.5.2 中心化和“教师”网络权重更新 142
8.5.3 DINO代码实践伪码和效果展示 142
8.6 缩放视觉Transformer 145
8.7 一些有趣的进展 146
8.7.1 替代自注意力机制 147
8.7.2 多尺度视觉Transformer（MViT） 149
8.7.3 完全基于Transformer的视频理解框架 151
8.7.4 语义分割中的ViT（SegFormer） 152
8.7.5 医学成像中的ViT 156
第9章 图神经网络 160
9.1 图数据 161
9.1.1 图像作为图数据 162
9.1.2 文本作为图数据 162
9.1.3 天然的图数据 163
9.2 图上的预测任务 165
9.3 图神经网络构建应用 168
9.3.1 最简单的GNN 168
9.3.2 通过聚合信息进行GNN预测 169
9.3.3 在图的各属性之间传递消息 171
9.3.4 学习边缘表示 172
9.3.5 添加全局表示 172
第10章 元学习 174
10.1 什么是元学习 174
10.2 机器学习与元学习 175
10.2.1 机器学习简介 175
10.2.2 元学习简介 177
10.2.3 机器学习与元学习 181
10.3 模型无关的元学习：MAML 183
10.3.1 MAML简介 183
10.3.2 MAML特点 183
10.3.3 MAML为什么能够起作用 184
参考文献 186