较好地体现了当前室内定位导航的现状与最新发展。本书深入浅出地介绍了三维实景视觉室内定位的相关内容。全书共14 章，第1～6 章首先对图像、照相机、全局特征和局部特征等重要概念进行了介绍和定义，然后进阶地介绍了图像特征点求解及特征匹配的方法；第7～9 章首先介绍了几何变换的定义和方法及照相机位置的求解方法，然后重点介绍了利用SLAM 技术进行室内定位与建图的原理和方法；第10～14 章主要介绍了图像拼接、点云、可视化建图、语义标注、语义建图等内容，通过这些技术手段，可以进一步提高定位和建图的质量与效果。从第3 章开始，后续各章均有一节实践供读者学习和尝试。

马琳，博士，副教授，博士生导师。主要学术研究方向为室内定位导航技术。发表学术论文100余篇，获得授权专利70余项；获得黑龙江省科学技术奖（发明）二等奖3项；主持国家自然科学基金3项，以及多项省部级和横向项目；参与2项国家863计划、4项国家自然科学基金、4项国家重大科技专项以及若干省部级项目和横向项目。讲授本科生、硕士研究生、博士研究生课程共计5门，发表教学论文3篇，省部级教改立项2项、校级教改项目1项；获校级教学奖1项。出版专著、译著2部。培养本硕博学生50余人，外国留学生1人。

第1 章 绪论 .............................................................................................................................. 1
1.1 室内定位系统概述 ..................................................................................................... 1
1.1.1 室内定位系统的发展历史 ............................................................................. 1
1.1.2 主流室内定位技术 ......................................................................................... 2
1.2 计算机视觉 ................................................................................................................. 6
1.2.1 计算机视觉简介 ............................................................................................. 6
1.2.2 计算机视觉的应用方向 ................................................................................. 7
1.3 本书架构 ..................................................................................................................... 9
第2 章 图像的基本概念 ........................................................................................................ 10
2.1 图像与视频 ............................................................................................................... 10
2.1.1 GIF ................................................................................................................ 10
2.1.2 PNG ............................................................................................................... 11
2.1.3 BMP .............................................................................................................. 12
2.1.4 JPEG .............................................................................................................. 14
2.1.5 H.264 ............................................................................................................. 19
2.2 图像的数学表征 ....................................................................................................... 20
2.2.1 图像基本模型 ............................................................................................... 20
2.2.2 图像数字化 ................................................................................................... 21
2.2.3 数字图像表示 ............................................................................................... 22
2.3 数字图像性质 ........................................................................................................... 23
2.3.1 距离度量与距离变换 ................................................................................... 23
2.3.2 像素邻接性和区域性质 ............................................................................... 25
2.3.3 拓扑性质 ....................................................................................................... 28
2.4 彩色图像 ................................................................................................................... 28
2.4.1 彩色基础 ....................................................................................................... 28
2.4.2 RGB 彩色模型 .............................................................................................. 30
2.4.3 灰度图像 ....................................................................................................... 31
2.5 深度图像 ................................................................................................................... 31
2.5.1 深度图像概念 ............................................................................................... 31
2.5.2 深度图像的获取 ........................................................................................... 32
2.6 数字图像的采集 ....................................................................................................... 33
2.6.1 采集装置 ....................................................................................................... 33
2.6.2 性能指标 ....................................................................................................... 35
2.6.3 采集模型 ....................................................................................................... 35
2.6.4 成像方式 ....................................................................................................... 36
第3 章 照相机与照相机参数 ................................................................................................ 38
3.1 照相机种类 ............................................................................................................... 38
3.1.1 单目照相机 ................................................................................................... 38
3.1.2 双目照相机 ................................................................................................... 40
3.1.3 深度照相机 ................................................................................................... 42
3.1.4 鱼眼照相机 ................................................................................................... 43
3.2 照相机参数 ............................................................................................................... 44
3.2.1 旋转与平移 ................................................................................................... 44
3.2.2 照相机标定 ................................................................................................... 47
3.3 镜头畸变 ................................................................................................................... 48
3.4 实践：计算机图像处理 ........................................................................................... 50
3.4.1 OpenCV 的使用............................................................................................ 50
3.4.2 图像畸变纠正 ............................................................................................... 52
第4 章 图像全局特征 ............................................................................................................ 55
4.1 概述 ........................................................................................................................... 55
4.2 颜色特征 ................................................................................................................... 55
4.2.1 HOG 特征 ..................................................................................................... 56
4.2.2 哈希特征 ....................................................................................................... 61
4.2.3 颜色矩 ........................................................................................................... 64
4.2.4 颜色相关图 ................................................................................................... 65
4.3 纹理特征 ................................................................................................................... 65
4.3.1 小波变换 ....................................................................................................... 66
4.3.2 Gabor 变换 .................................................................................................... 69
4.3.3 Gist 特征 ....................................................................................................... 74
4.4 实践：全局特征提取 ............................................................................................... 75
第5 章 图像局部特征 ............................................................................................................ 83
5.1 概述 ........................................................................................................................... 83
5.2 Harris 角点 ................................................................................................................ 83
5.3 FAST 特征 ................................................................................................................. 86
5.4 霍夫变换 ................................................................................................................... 87
5.4.1 霍夫线变换 ................................................................................................... 88
5.4.2 霍夫圆变换 ................................................................................................... 89
5.5 SIFT 特征 .................................................................................................................. 90
5.5.1 尺度空间极值检测 ....................................................................................... 91
5.5.2 关键点定位 ................................................................................................... 93
5.5.3 关键点方向确定 ........................................................................................... 94
5.5.4 关键点描述 ................................................................................................... 95
5.6 SURF 特征 ................................................................................................................ 96
5.6.1 构建Hessian 矩阵生成关键点 .................................................................... 97
5.6.2 构建尺度空间 ............................................................................................... 98
5.6.3 确定关键点方向 ........................................................................................... 99
5.6.4 生成特征描述子 ........................................................................................... 99
5.7 ORB 特征 ................................................................................................................ 100
5.7.1 改进的FAST 角点提取 .............................................................................. 100
5.7.2 BRIEF 特征描述子 ..................................................................................... 101
5.8 实践：图像局部特征提取 ..................................................................................... 102
第6 章 图像的特征匹配 ...................................................................................................... 106
6.1 概述 ......................................................................................................................... 106
6.2 度量函数 ................................................................................................................. 106
6.3 特征点匹配优化算法 ............................................................................................. 107
6.3.1 距离筛选算法 ............................................................................................. 108
6.3.2 交叉匹配算法 ............................................................................................. 109
6.3.3 KNN 算法 ................................................................................................... 109
6.3.4 RANSAC 算法 ............................................................................................ 110
6.4 实践：图像特征匹配 ............................................................................................. 112
第7 章 几何变换 .................................................................................................................. 115
7.1 概述 ......................................................................................................................... 115
7.2 几何基元 ................................................................................................................. 115
7.3 二维空间中的变换 ................................................................................................. 117
7.4 三维空间中的变换 ................................................................................................. 119
7.5 旋转向量 ................................................................................................................. 122
7.6 实践：运动轨迹绘制代码实现 ............................................................................. 122
第8 章 照相机位置估计与求解 .......................................................................................... 124
8.1 概述 ......................................................................................................................... 124
8.2 照相机建模 ............................................................................................................. 124
8.2.1 投射投影矩阵和非固有参数 ..................................................................... 124
8.2.2 照相机固有参数矩阵 ................................................................................. 126
8.3 视觉定位中的图像特征描述子 ............................................................................. 128
8.3.1 图像检索流程 ............................................................................................. 128
8.3.2 全局特征描述子 ......................................................................................... 129
8.3.3 局部特征描述子 ......................................................................................... 130
8.4 对极几何约束 ......................................................................................................... 132
8.4.1 模型描述 ..................................................................................................... 132
8.4.2 本质矩阵 ..................................................................................................... 133
8.4.3 基本矩阵 ..................................................................................................... 134
8.5 实践：对极几何约束求解照相机运动位置 ......................................................... 135
第9 章 同步定位与地图构建 .............................................................................................. 137
9.1 概述 ......................................................................................................................... 137
9.2 IMU 和RGB-D 照相机模型分析 .......................................................................... 138
9.2.1 IMU 模型 .................................................................................................... 138
9.2.2 针孔成像模型 ............................................................................................. 140
9.2.3 RGB-D 照相机和IMU 联合标定 .............................................................. 141
9.3 室内建图系统关键技术分析 ................................................................................. 143
9.3.1 刚体运动的三维表示 ................................................................................. 143
9.3.2 传感器的位姿估计问题 ............................................................................. 144
9.3.3 非线性优化 ................................................................................................. 145
9.4 RGB-D 照相机和IMU 信息的前端处理 .............................................................. 146
9.4.1 IMU 预积分 ................................................................................................ 146
9.4.2 特征点提取与追踪 ..................................................................................... 148
9.4.3 PnP 估计帧间位姿 ..................................................................................... 151
9.5 联合初始化和后端优化 ......................................................................................... 153
9.5.1 RGB-D 照相机和IMU 的旋转估计对齐 .................................................. 153
9.5.2 RGB-D 照相机和IMU 的位移估计对齐 .................................................. 154
9.5.3 后端优化与点云建图 ................................................................................. 154
9.6 系统性能分析 ......................................................................................................... 157
9.6.1 位姿估计误差分析 ..................................................................................... 157
9.6.2 点云建图实验结果分析 ............................................................................. 162
9.7 实践：BA 问题求解 .............................................................................................. 165
9.7.1 Ceres 求解BA 问题 ................................................................................... 165
9.7.2 g2o 求解BA 问题 ...................................................................................... 167
第10 章 图像拼接 ................................................................................................................ 170
10.1 概述 ....................................................................................................................... 170
10.2 图像预处理 ........................................................................................................... 170
10.2.1 图像几何校正 ........................................................................................... 170
10.2.2 图像投影变换 ........................................................................................... 171
10.2.3 图像配准 ................................................................................................... 173
10.3 图像拼接融合 ....................................................................................................... 175
10.3.1 平均值融合算法 ....................................................................................... 176
10.3.2 加权平均融合算法 ................................................................................... 176
10.3.3 渐入渐出融合算法 ................................................................................... 177
10.3.4 多频段融合算法 ....................................................................................... 178
10.4 实践：图像拼接 ................................................................................................... 180
第11 章 点云 ........................................................................................................................ 183
11.1 概述 ....................................................................................................................... 183
11.1.1 点云和点云库概念 ................................................................................... 183
11.1.2 点云处理在各领域的应用 ....................................................................... 184
11.2 PCL ........................................................................................................................ 186
11.2.1 数据类型 ................................................................................................... 186
11.2.2 PCL 常用代码模块 ................................................................................... 187
11.2.3 PCL 点云处理 ........................................................................................... 187
11.3 K 维树和八叉树 .................................................................................................... 188
11.3.1 K 维树 ....................................................................................................... 189
11.3.2 八叉树 ....................................................................................................... 190
11.4 点云滤波 ............................................................................................................... 190
11.4.1 滤波概述 ................................................................................................... 190
11.4.2 双边滤波算法 ........................................................................................... 192
11.4.3 剔除点云离群点 ....................................................................................... 193
11.4.4 点云下采样 ............................................................................................... 194
11.5 三维-三维：ICP 点云匹配 .................................................................................. 195
11.5.1 点云配准定义 ........................................................................................... 195
11.5.2 ICP 算法 .................................................................................................... 196
11.6 实践：点云滤波和点云配准 ............................................................................... 198
第12 章 可视化建图与渲染 ............................................................................................... 202
12.1 概述 ....................................................................................................................... 202
12.2 单目稠密重建 ....................................................................................................... 203
12.2.1 稀疏重建与稠密重建的区别 ................................................................... 203
12.2.2 单目稠密重建方法 ................................................................................... 203
12.3 稠密建图 ............................................................................................................... 206
12.3.1 稠密重建方法 ........................................................................................... 206
12.3.2 PMVS 算法 ............................................................................................... 207
12.4 图形渲染 ............................................................................................................... 207
12.4.1 预渲染与实时渲染的区别 ....................................................................... 207
12.4.2 WebGL 与渲染管线 ................................................................................. 208
12.5 点云渲染与可视化 ............................................................................................... 209
12.5.1 基于面片的渲染算法 ............................................................................... 209
12.5.2 网格重建 ................................................................................................... 210
12.6 实践：点云曲面重建 ........................................................................................... 213
第13 章 图像语义基本概念与标注方法 ............................................................................ 215
13.1 图像语义基本概念 ............................................................................................... 215
13.1.1 定义 ........................................................................................................... 215
13.1.2 语义研究内容 ........................................................................................... 216
13.1.3 图像语义分析与应用 ............................................................................... 217
13.2 图像级标注 ........................................................................................................... 223
13.3 像素级标注 ........................................................................................................... 226
13.4 实践：目标检测 ................................................................................................... 229
13.4.1 计算机硬件基础 ....................................................................................... 229
13.4.2 深度学习环境配置 ................................................................................... 229
第14 章 图像语义获取方法与应用.................................................................................... 233
14.1 机器学习 ............................................................................................................... 233
14.2 图像语义模型 ....................................................................................................... 236
14.3 图像语义分割 ....................................................................................................... 240
14.4 图像标注和目标识别 ........................................................................................... 246
14.5 实践：利用自己的数据集实现目标检测 ........................................................... 252