无人机航空遥感系统具有图像分辨率高、图像实时传输、适合高危地区作业、成本低、机动灵活等优点，适用于低空高分辨率遥感数据的实时获取，在区域性、工程性、灾害性和军事性的遥感监测中发挥着大型遥感系统难以替代的作用。无人机执行遥感监测任务时，需要实时传输其所获取的图像以及状态数据，这就要求无人机航空遥感系统具备自动、高速地完成图像的获取、压缩、传输、处理、显示以及存储等功能。其中，确保遥感图像处理的精准性、实时性与可视性是无人机得以有效利用的重要前提条件。由于现有成像设备的性能所限，目前的航空遥感成像系统无法获得大面积、高分辨率的观测图像，因此需要将获取的序列遥感图像进行在线动态拼接，以提高遥感图像的信息获取能力。本书结合无人机航空遥感具体的应用需求，针对航空遥感图像拼接技术中的几项关键技术进行了研究和探讨。内容包括：图像几何畸变校正、灰度序列遥感图像拼接、颜色空间与颜色相似性度量、彩色遥感图像拼接、图像特征提取方法、SVM机器学习算法、可变形模板的多目标跟踪模型等。
　　本书可供信息科学、遥感科学和数理科学的科研人员和工程技术人员阅读，还可以作为计算机科学与技术、自动化、电子工程、遥感技术等专业的研究生和高年级本科生的教学参考书。

　（1）根据无人机遥感图像成像的内、外方位元素，采用直角空间变换及二次线性插补方法，实现了遥感图像校正。
　　（2）提出一种分布存储环境下的并行几何校正算法，每个处理器通过计算本地输入子图像在目标图像中的范围，确定其需要进行重采样计算的区域，使计算过程中所需的数据均为本地数据，很好地解决了数据局部性问题。
　　（3）基于图像数据总体分布的统计，分析了飞行试验图像的成像质量。基于人眼亮度视觉特性曲线，结合小波变换和Curvelet变换特点，提出一种新的图像增强方法，实现了无人机遥感序列图像的自适应增强处理。
　　（4）提出结合小波变换和Canny算法的边缘提取算法，该算法将Canny算法的非极大值抑制、双阈值算法与小波变换多尺度分析思想相结合，利用Canny算法在高分辨率图像的精确定位性与小波变换后的低分辨率图像的抗噪声能力相结合，从而消除噪声的干扰，提取更加完整的边缘。
　　（5）将图像匹配分为粗匹配和精匹配两个步骤。在粗匹配计算中，首先确定待拼接的两幅图像之间的大致重叠区域，然后利用小波变换与Canny算法提取图像边缘，最后采用区域匹配法求得两幅图像的匹配点。
　　（6）基于人眼的颜色视觉特性分析，本书提出了一种具有抗亮度干扰能力的彩色图像色差度量方法。
　　（7）目标的特征描述是跟踪算法中的重要步骤，直接影响最终的跟踪效果，决定整个跟踪系统的性能。
　　（8）传统的离线分类器需要人为标记大量的样本训练分类器，当待测样本与训练样本具有较大差异时，无法及时适应目标的外观变化，且难以推广到其他目标类型，分类器应用具有局限性。

无人机航空遥感系统具有图像分辨率高、图像实时传输、适合高危地区作业、成本低、机动灵活等优点，适用于低空高分辨率遥感数据的实时获取，在区域性、工程性、灾害性和军事性的遥感监测中发挥着大型遥感系统难以替代的作用。无人机执行遥感监测任务时，需要实时传输其所获取的图像以及状态数据，这就要求无人机航空遥感系统具备自动、高速地完成图像的获取、压缩、传输、处理、显示以及存储等功能。其中，确保遥感图像处理的精准性、实时性与可视性是无人机得以有效利用的重要前提条件。由于现有成像设备的性能所限，目前的航空遥感成像系统无法获得大面积、高分辨率的观测图像，因此需要将获取的序列遥感图像进行在线动态拼接，以提高遥感图像的信息获取能力。
　　结合无人机航空遥感具体的应用需求，本书针对航空遥感图像拼接技术进行了以下研究工作。
　　(1)根据无人机遥感图像成像的内、外方位元素，采用直角空间变换及二次线性插补方法，实现了遥感图像校正。根据获取的无人机飞行状态参数，实现了连续两幅无人机航空遥感快视图像之间重叠区域的图像范围计算。
　　(2)提出一种分布存储环境下的并行几何校正算法，每个处理器通过计算本地输入子图像在目标图像中的范围，确定其需要进行重采样计算的区域，使计算过程中所需的数据均为本地数据，很好地解决了数据局部性问题。利用首尾相连的闭线段近似表示理想的输出图像块边界，详细讨论了局部输出区域的计算方法，并采用一种新的存储结构用于保存校正后的输出图像块信息。
　　(3)基于图像数据总体分布的统计，分析了飞行试验图像的成像质量。基于人眼亮度视觉特性曲线，结合小波变换和Curvelet变换特点，提出一种新的图像增强方法，实现了无人机遥感序列图像的自适应增强处理。
　　(4)提出结合小波变换和Canny算法的边缘提取算法，该算法将Canny算法的非极大值抑制、双阈值算法与小波变换多尺度分析思想相结合，利用Canny算法在高分辨率图像的精确定位性与小波变换后的低分辨率图像的抗噪声能力相结合，从而消除噪声的干扰，提取更加完整的边缘。
　　(5)将图像匹配分为粗匹配和精匹配两个步骤。在粗匹配计算中，首先确定待拼接的两幅图像之间的大致重叠区域，然后利用小波变换与Canny算法提取图像边缘，最后采用区域匹配法求得两幅图像的匹配点。在精匹配计算中，首先确定更小的搜索区域，然后利用最小二乘法计算得到待拼接图像之间的最佳相对位置关系，最后根据匹配结果，实现两幅图像的拼接。
　　(6)基于人眼的颜色视觉特性分析，本书提出了一种具有抗亮度干扰能力的彩色图像色差度量方法。利用颜色相似性分析，并引入协方差矩阵计算，给出了彩色图像特征模板的提取方法。利用最小二乘法，建立了两幅彩色图像之间的亮度变换函数曲线，实现了基于基准图像亮度分布的伽马校正。
　　(7)目标的特征描述是跟踪算法中的重要步骤，直接影响最终的跟踪效果，决定整个跟踪系统的性能。基于分类学习的目标跟踪一般不选择较直观的整体特征，而偏向由基本特征进行局部特征统计，使特征描述子更易于区分且计算量较小。选择目前成功应用于目标检测的HOG特征作为目标特征。
　　(8)传统的离线分类器需要人为标记大量的样本训练分类器，当待测样本与训练样本具有较大差异时，无法及时适应目标的外观变化，且难以推广到其他目标类型，分类器应用具有局限性。基于检测的跟踪算法，在跟踪过程中，跟踪器根据上一帧的跟踪结果信息在线更新分类器，然后再对当前帧检测，以获取当前运动目标的准确预测位置，有效抑制跟踪漂移。首先构造目标的外观模型。在初始帧中随机选择大量含目标区域以及含背景区域等的大图像块，分别提取HOG特征，标记为正负样本，然后将这些样本特征集合作为训练样本输入SVM分类器，即可训练得到目标准确的参数化外观模型。由于HOG特征具有几何不变的特性，经过SVM训练后得到的目标外观模型将更加准确。对文中所提出的遥感图像处理算法，实现了仿真程序设计，验证了算法的可行性，完成无人机航空遥感图像动态拼接软件的设计工作。
　　全书共分10章，第1章对无人机及遥感系统做了简单的介绍，针对遥感技术中的图像匹配和融合，给予综述性的论述；第2章研究拼接处理前的畸变校正以及去噪增强等图像预处理工作；第3章研究基于图像大边缘提取的图像拼接技术；第4章研究颜色空间和颜色相似性的度量关系，为基于像素颜色的相似性匹配计算提供理论基础；第5章讨论彩色图像拼接；第6章研究目标检测中一些常用的图像特征，详细描述了HOG特征的提取方法；第7章研究支持向量机(SVM)算法的原理，详细描述了基于HOG和SVM的目标外观模型的构建；第8章研究并提出了基于最小生成树模型的目标模型，详细描述了跟踪模型的构建过程，并将这种跟踪算法应用到多目标跟踪视频中；第9章研究一个在线的、结构化的SVM(StructuredSVM)框架中学习外观模型参数和目标间的相互关系参数，实时更新所有目标的外观模型和这些目标间的结构约束，使跟踪器能够及时适应目标和环境的变化；第10章总结全文并展望下一步的研究内容。
　　本书第1章至第5章由程远航编写，第6章至第10章由武刚编写。全书由程远航统稿。
　　作者的能力水平和学识有限，本书内容如有不足之处，恳请读者批评指正。
　　作者
　　2016年3月

第1章 绪论 1
1.1 无人机 2
1.2 无人机航空遥感系统 4
1.3 遥感图像拼接技术 7
1.3.1 图像匹配技术 8
1.3.2 图像融合技术 12
第2章 遥感图像的基础理论及相关知识 17
2.1 遥感图像几何畸变校正 18
2.1.1 坐标系统 19
2.1.2 影像的内外方位元素 20
2.1.3 空间直角坐标系的旋转变换 21
2.1.4 共线方程 22
2.1.5 灰度重采样 24
2.2 遥感图像并行几何校正算法 25
2.2.1 并行几何校正算法 26
2.2.2 并行几何校正算法的实验结果与分析 31
2.3 遥感图像对比度增强 34
2.3.1 直方图修正法 34
2.3.2 直接灰度变换法 36
2.3.3 Wavelet与Curvelet变换相结合的图像增强方法 39
2.4 实验结果与分析 43
2.5 结论 45
第3章 灰度序列遥感图像拼接 47
3.1 图像边缘检测 48
3.1.1 微分算子法 49
3.1.2 Canny算法 49
3.1.3 数学形态学在边缘检测中的应用 50
3.1.4 基于小波变换的边缘检测方法 51
3.2 小波变换与Canny算法相结合的边缘检测方法 52
3.2.1 小波基选择 54
3.2.2 自适应确定双阈值 55
3.3 图像匹配 57
3.3.1 匹配搜索区域计算 57
3.3.2 特征模板提取 59
3.3.3 匹配计算 59
3.4 图像融合 62
3.4.1 失真程度 68
3.4.2 能量总和 69
3.4.3 能量最小化 71
3.5 实验结果与分析 75
3.6 结论 77
第4章 颜色空间与颜色相似性度量 79
4.1 颜色空间分析 80
4.1.1 面向设备的颜色空间 80
4.1.2 面向视觉感知的颜色空间 83
4.1.3 均匀颜色空间 87
4.1.4 色差度量 90
4.2 颜色相似性度量 91
4.2.1 RGB与HSI颜色空间变换的特征 92
4.2.2 颜色相似系数 93
4.3 实验结果与分析 95
4.4 结论 96
第5章 彩色遥感图像拼接 99
5.1 颜色空间变换 100
5.2 色差计算 101
5.3 彩色图像匹配 102
5.3.1 特征模板提取 102
5.3.2 匹配搜索策略 104
5.4 彩色图像平滑 104
5.4.1 伽马校正方法 105
5.4.2 亮度变换函数 106
5.4.3 平滑计算 106
5.5 实验结果与分析 107
5.6 结论 110
第6章 图像特征提取 111
6.1 图像特征 112
6.1.1 LBP特征 112
6.1.2 Haar-like特征 115
6.1.3 SIFT特征 117
6.1.4 HOG特征 119
6.2 HOG特征的提取方法 120
6.2.1 图像梯度计算 120
6.2.2 空间以及方向上的梯度统计 121
6.2.3 块内梯度直方图的归一化 122
6.2.4 最终HOG特征向量的生成 123
6.3 HOG特征的目标描述 124
6.4 实验结果与分析 125
第7章 SVM机器学习算法 129
7.1 支持向量机(SVM)的原理 130
7.2 SVM分类器的数学模型 130
7.2.1 线性可分情况下的SVM模型 130
7.2.2 线性不可分情况下的SVM模型 134
7.2.3 非线性可分情况下的SVM模型 135
7.3 SVM分类器设计 136
7.4 HOG和SVM的目标外观模型 137
7.4.1 目标外观模型的建立 137
7.4.2 SVM分类器的训练 138
第8章 可变形模板的多目标跟踪模型 141
8.1 可变形模板 142
8.2 图结构模型 142
8.2.1 图的基本概念 144
8.2.2 表示图像结构特征的图 145
8.3 构造最小生成树 146
8.4 建立目标跟踪模型 147
第9章 SVM在线学习的模型参数更新 151
9.1 在线学习的跟踪算法 152
9.2 SVM在线学习的跟踪框架 152
9.3 结构化的SVM学习 154
9.3.1 结构化的SVM 154
9.3.2 结构化学习 155
9.4 实验结果与分析 157
第10章 总结与展望 163
10.1 工作总结 164
10.2 未来工作的展望 165
参考文献 167