本书是一本人工智能通识课程教材，系统阐述了多模态人工智能的基础理论、关键技术及应用场景，深入分析了多模态学习、多模态训练、多模态大模型、多模态理解、多模态检索、多模态生成、多模态推理、多模态交互、多模态安全与可信等核心技术，旨在提供一个清晰、全面的多模态人工智能的知识体系，帮助读者更好地理解和应用多模态人工智能技术。本书的出版有助于培养人工智能领域的科技人才，推动新质生产力发展，为建设科技强国提供支撑。

第1 章 绪论 1
1.1 引言 1
1.2 基本术语 3
1.2.1 传感器 3
1.2.2 模态 3
1.2.3 多模态 3
1.2.4 算法模型 6
1.2.5 表征学习 6
1.2.6 语义理解 7
1.2.7 迁移学习 7
1.2.8 内容生成 7
1.2.9 模态融合 8
1.2.10 模态对齐 8
1.2.11 多模态学习 9
1.3 发展历程 9
1.4 应用现状 10
1.5 小结 12

第2 章 基础知识 14
2.1 传统机器学习 14
2.1.1 模型评估与选择 15
2.1.2 线性模型 16
2.1.3 分类 18
2.1.4 回归 19
2.2 深度学习 20
2.2.1 卷积神经网络 20
2.2.2 循环神经网络 22
2.2.3 Transformer 23
2.3 优化算法 25
2.3.1 梯度下降算法 26
2.3.2 反向传播 27
2.4 应用领域 28
2.4.1 计算机视觉 29
2.4.2 自然语言处理30
2.4.3 语音识别 31
2.5 小结 32
第3 章 多模态学习 34
3.1 模态表示 34
3.1.1 文本模态表示 34
3.1.2 视觉模态表示 37
3.1.3 声音模态表示 38
3.1.4 其他模态表示 40
3.1.5 多模态联合表示 43
3.1.6 多模态协同表示 44
3.2 多模态融合 46
3.2.1 数据级融合 46
3.2.2 特征级融合 46
3.2.3 目标级融合 47
3.2.4 混合式融合 49
3.3 跨模态对齐 50
3.3.1 显式对齐：无监督对齐和有监督对齐 50
3.3.2 隐式对齐：注意力对齐和语义对齐51
3.4 多模态协同学习 52
3.4.1 基于平行数据的协同学习 52
3.4.2 基于非平行数据的协同学习 53
3.4.3 基于混合平行数据的协同学习 54
3.5 小结 56
第4 章 多模态训练 57
4.1 有监督训练 57
4.1.1 视觉监督训练 57
4.1.2 文本监督训练 61
4.1.3 多模态监督训练 63
4.2 自监督训练 72
4.2.1 基于对比学习的自监督训练73
4.2.2 基于掩码学习的自监督训练 75
4.3 混合监督训练77
4.3.1 有监督与自监督的混合监督训练 77
4.3.2 半监督混合监督训练78
4.4 小结 80
第5 章 多模态大模型 81
5.1 基础大模型 81
5.1.1 语言大模型 83
5.1.2 视觉大模型 88
5.1.3 语音大模型 93
5.1.4 多模态基础大模型 94
5.2 大语言模型推理方法96
5.2.1 提示学习 96
5.2.2 上下文学习 99
5.2.3 思维链 100
5.3 模型微调103
5.3.1 LoRA 103
5.3.2 人类反馈强化学习 104
5.4 分布式训练 107
5.4.1 DeepSpeed 108
5.4.2 Megatron-LM 111
5.5 小结 114
第6 章 多模态理解 115
6.1 图像描述115
6.1.1 描述方法116
6.1.2 评价指标119
6.2 视频描述 119
6.2.1 视频定位119
6.2.2 视频描述120
6.2.3 视频摘要生成 121
6.2.4 评价指标123
6.3 视觉问答 124
6.3.1 问题定义 124
6.3.2 问答方法 125
6.3.3 评价指标 132
6.4 小结 133
第7 章 多模态检索 134
7.1 数据检索 134
7.1.1 单模态数据与检索 135
7.1.2 多模态数据与检索 138
7.2 跨模态检索 139
7.2.1 检索方法 140
7.2.2 评价指标 144
7.3 交互式检索 146
7.4 小结 149
第8 章 多模态生成 150
8.1 图像生成 150
8.1.1 问题定义 151
8.1.2 生成方法 154
8.1.3 评价指标 162
8.2 视频生成 165
8.2.1 问题定义 166
8.2.2 生成方法 169
8.2.3 评价指标 174
8.3 语音生成 177
8.3.1 问题定义 177
8.3.2 合成方法 179
8.3.3 前端处理 183
8.3.4 后端模型 186
8.3.5 评价标准 190
8.4 小结 191
第9 章 多模态推理 193
9.1 知识图谱推理 193
9.1.1 基于规则学习 194
9.1.2 基于路径排序 197
9.1.3 基于表示学习 198
9.1.4 基于神经网络学习 200
9.2 多模态推理 204
9.2.1 视觉问答 204
9.2.2 视觉常识推理 205
9.2.3 视觉语言导航 208
9.3 小结 209
第10 章 多模态交互 210
10.1 可穿戴交互 210
10.1.1 交互方式 212
10.1.2 相关技术 214
10.1.3 智能穿戴设备 216
10.2 人机对话交互 217
10.2.1 语音识别 217
10.2.2 情感识别 218
10.2.3 语音合成 218
10.2.4 对话系统 219
10.3 声场感知交互 219
10.3.1 动作识别 220
10.3.2 声源定位 220
10.3.3 副语音信息交互增强 220
10.3.4 音频感知与识别 221
10.4 混合现实实物交互 221
10.4.1 静态被动力触觉 222
10.4.2 相遇型被动力触觉 222
10.5 小结 223
第11 章 多模态模型安全与可信 224
11.1 模型的可解释性 224
11.1.1 迁移学习 224
11.1.2 反向传播和显著性图 226
11.1.3 特征反演 227
11.1.4 敏感性分析 227
11.1.5 注意力机制 228
11.1.6 沙普利叠加解释 229
11.2 人工智能伦理规范 . 230
11.2.1 标准认定 230
11.2.2 科技伦理治理 231
11.2.3 行业自律 233
11.3 小结 . 233
第12 章 总结与展望 235
12.1 世界模型 235
12.2 情感计算 236
12.3 类脑智能 238
12.4 博弈智能 240
12.5 小结 241