随着物联网与5G时代的到来，终端设备正产生海量数据与智能信息处理需求，人工智能逐步从云计算中心向终端设备迁移。然而，终端设备计算性能受限、应用场景多样等特点给终端智能信息处理带来了巨大挑战。本书围绕在算力、能耗受限的终端设备上广泛部署智能服务的迫切需求，研究云边端融合的终端智能信息处理关键技术。以深度学习为典型智能信息处理方法，依托云边端融合计算模式，从智能模型训练与部署着手，重点突破云边端数据协同传输、模型云边端融合部署、面向场景的模型持续学习等问题，系统介绍面向终端设备的深度神经网络学习训练与部署运行方法体系，为实现在性能受限的异构终端设备上提供安全、可靠、高效的智能信息处理服务提供可行路径。本书所述内容，有望打通以深度学习为代表的先进人工智能方法在终端设备上高效应用的最后一公里，为突破实现"万物智能”的瓶颈性问题提供技术支撑。

王吉，2019年6月于国防科技大学获博士学位，并留校任教，入选中国科协青年人才托举工程。主要从事人工智能与分布式计算研究，在边缘计算资源管理、云边端一体化智能计算等方面取得一系列原创成果。博士学位论文获中国指挥与控制学会优秀博士学位论文、湖南省优秀博士学位论文。在SIGKDD、AAAI、ACL、IEEE T-PDS、IEEE T-MC、IEEE T-C等人工智能、分布式计算领域国际顶级会议和期刊发表论文30余篇。以第一/通讯作者身份发表中国计算机学会（CCF）推荐A类论文6篇、B类论文3篇，3篇论文进入ESI前10%高引。Google学术总被引用次数1100余次，得到英国皇家工程院院士等多位院士团队和10余位IEEE/ACM Fellow团队论文的正面评价，得到三星SDS、百度等产业界人士的高度关注。部分研究成果已在军委联参、战支部队、阿里云等军队和工业部门部署应用，在执行重大任务、演习演训中发挥重要作用。

目 录
第1章 绪论 001
1.1 终端智能信息处理 002
1.1.1 终端智能信息处理的内涵 002
1.1.2 终端智能信息处理的现实需求 003
1.1.3 终端智能信息处理的挑战 004
1.2 云边端融合计算模式 005
1.2.1 云边端融合计算模式的发展 006
1.2.2 云边端融合的终端智能信息处理框架 007
1.2.3 云边端融合计算模式面临的挑战 009
1.3 本书关注的问题 011
1.3.1 具体问题分析 011
1.3.2 研究内容与创新点 013
1.4 本书研究的科学意义与实践价值 017
第2章 终端设备数据传输链路自主协同选择 019
2.1 引言 020
2.1.1 问题分析 020
2.1.2 相关工作 022
2.2 系统模型 023
2.3 终端设备链路选择博弈 025
2.3.1 博弈模型构建 025
2.3.2 博弈性质分析 026
2.4 分布式链路选择算法 028
2.4.1 算法设计 028
2.4.2 收敛性分析 032
2.5 实验评估 033
2.5.1 收敛性 033
2.5.2 性能提升 035
2.5.3 原型系统 039
2.6 本章小结 041
第3章 终端设备数据分布式协同传输优化 043
3.1 引言 044
3.1.1 问题分析 044
3.1.2 相关工作 046
3.2 系统模型与问题形式化 048
3.3 自适应分布式优化方法 050
3.3.1 关联传输决策 050
3.3.2 在线分布式调度算法 054
3.3.3 理论分析 057
3.4 实验评估 059
3.4.1 能耗-效用均衡 060
3.4.2 反馈延迟与采样大小对性能的影响 061
3.4.3 对信道状态的适应性 062
3.4.4 终端设备丢失的自适应性 065
3.4.5 性能比较 066
3.4.6 原型系统测试 069
3.5 本章小结 071
第4章 基于深度神经网络分割的云端协同智能推理 073
4.1 引言 074
4.1.1 问题分析 074
4.1.2 相关工作 077
4.2 预备知识 079
4.2.1 深度神经网络 079
4.2.2 迁移学习 080
4.2.3 差分隐私准则 080
4.3 云端协同智能推理框架 082
4.3.1 框架概览 082
4.3.2 端侧数据转换 084
4.3.3 云侧噪声训练 087
4.4 实验评估 090
4.4.1 参数选择 092
4.4.2 数据转换扰动对性能的影响 093
4.4.3 性能比较 095
4.4.4 隐私保护预算分析 096
4.4.5 原型系统测试 098
4.5 本章小结 099
第5章 面向端侧自主智能推理的智能计算模型压缩 101
5.1 引言 102
5.1.1 问题分析 102
5.1.2 相关工作 105
5.2 基于知识萃取的智能模型压缩框架 105
5.2.1 框架概览 106
5.2.2 模型压缩训练 107
5.2.3 数据安全隐私保护 110
5.2.4 查询样本选取 112
5.3 实验评估 115
5.3.1 参数对性能的影响 115
5.3.2 安全隐私性能分析 119
5.3.3 模型压缩性能分析 121
5.4 本章小结 124
第6章 基于联邦学习的云边端协同智能模型训练 125
6.1 引言 126
6.1.1 问题分析 126
6.1.2 相关工作 128
6.2 预备知识 130
6.2.1 联邦学习 130
6.2.2 动态带宽和不可靠网络 131
6.2.3 梯度压缩 132
6.3 云边端协同联邦学习训练框架 134
6.4 面向动态不可靠网络的联邦学习算法 137
6.4.1 算法设计 137
6.4.2 理论分析 140
6.5 实验评估 141
6.5.1 实验设置 142
6.5.2 整体性能比较 144
6.5.3 准确性比较 146
6.5.4 通信效率比较 148
6.5.5 通信压缩率的影响 149
6.5.6 不可靠网络的影响 151
6.5.7 终端规模的影响 151
6.6 本章小结 152
第7章 基于完全分布式学习的端侧智能模型训练 155
7.1 引言 156
7.1.1 问题分析 156
7.1.2 相关工作 158
7.2 完全分布式智能模型训练框架 159
7.3 分布式训练动态控制算法 161
7.3.1 模型构建 161
7.3.2 问题形式化 165
7.3.3 问题求解的近似 167
7.3.4 算法设计 169
7.4 实验评估 171
7.4.1 整体性能比较 173
7.4.2 准确性比较 174
7.4.3 资源效率比较 175
7.4.4 数据分布的影响 177
7.4.5 资源预算的影响 178
7.4.6 终端移动性的影响 180
7.4.7 终端规模的影响 180
7.4.8 原型系统测试 182
7.5 本章小结 185
附录A LocalUpdate（ ）函数、FedAvg及C-FedAvg算法 187
A.1 LocalUpdate（ ）函数 188
A.2 FedAvg及C-FedAvg算法 189
附录B 定理6.1证明 191
附录C Alpha-GossipSGD中的相关函数 195
C.1 LocalUpdate函数 196
C.2 MNLRS函数 197
C.3 Alpha-Gossip函数 199
参考文献 202