《计算机视觉中的多视图几何(原书第2版)》是专著《Multiple View Geometry in Conputer Vision(Second Edition)》的中译本。给定多幅未标定视图,此书给出由图像点对应估计多焦点张量(特别是基本矩阵和三焦点张量)和由这些张量恢复摄像机矩阵并实现射影重构的理论和算法(第二版提供了更有效的搜索和匹配算法)。作者提供了综合性的背景材料,读者只要熟悉线性代数和基本的数值方法就能够理解书中给出的射影几何和算法,并能直接依据《计算机视觉中的多视图几何(原书第2版)》来实现有关算法。
《计算机视觉中的多视图几何(原书第2版)》可作为研究生教材,可供从事计算机视觉的科研人员参考。
★总的来说,这本书提供了对晦涩概念的清晰解释,并介绍了使用它们所需的数学方程,它以一种易于理解和实现的方式介绍了相关理论和算法。本书编排恰当,便于参考,并提供了很好的例子(丰富的例子对理解内容更有帮助),且在每一章的结尾给出了有用的注释和练习.本书以其清晰的方法和解释见长,是该领域研究人员教学和参考的理想工具。
——BMVA新闻
★“我对这本书非常认可.作者以清晰一致的方式成功地介绍了主流多视图几何中的主要技术,包括经照的和现代的……我真诚地向对多视图几何中传统和现代技术的理论基础感兴趣的人推荐这本书。”
——计算评论
让计算机具有视觉,科学家与工程师们做出了近40年的不懈努力。应该说,40年的努力,进展是显著的,主要有两个方面:
已经形成一些计算视觉的基本理论框架,如20世纪80年代初形成的以Marr为代表的视觉计算理论(有些学者称之为三维重建框架)和以后出现的基于模型的视觉(Model Based Vision)、主动视觉(Active Vision)等。现在看来,虽然我们仍然不清楚这些计算理论框架能否最终成为最理想的计算机视觉系统的基础,但有几点几乎是可以肯定的:一是迄今为止提出的各种理论框架虽然有方法论上的差异,有些甚至具有科学哲学思想的差异,但并没有本质上的相互排斥,而是互补的。二是这些已有的视觉系统理论框架可以作为具有一定程度视觉功能的实用视觉系统的基础。随着计算机性能价格比的指数增长,以现有视觉系统理论框架为基础的、针对特定任务的实用视觉系统,将会广泛应用于现实生活中。三是与人工智能的其他许多领域类似,真正的突破要比当初想像的要困难得多,这里,“真正的突破”是指:当我们将当前的人工智能系统与人相比时,人的智能系统具有更强的通用性、自学习能力、自适应性和对噪声的鲁棒性,计算机视觉另一方面的重要进展是,提出了大量的计算方法。尤其是20世纪90年代以来,为适应不同计算理论框架和为改进计算机视觉系统对噪声的鲁棒性,引进了许多数学方法和与之相对应的计算方法,几乎所有的数学分支,尤其是应用数学分支都要到计算机视觉领域来一显身手,使许多初学者,甚至进行了多年研究的学者都感到困惑。人们不禁要问,难道我们真需要这么多的复杂数学分支和计算方法来解决计算机视觉问题吗?事实上,这确实反映了当前的许多数学工具还不能有效解决“更强的通用性、自学习能力、自适应性和对噪声的鲁棒性”的问题。另一方面,现在的许多数学方法,本质上是相通的。而我们缺少既对这些方法都精通,又对计算机视觉中所面临的实际问题有深入理解的理论工作者来对各种方法加以融会贯通。
在上述视觉计算方法的研究中,基于几何的视觉计算方法,在20世纪90年代发展到了几乎完美的程度,本书的作者既是这方面的先驱者,也在本书中做出了很好的总结与系统论述。基于几何的视觉计算方法,之所以引起很大关注是因为:
(1)计算机视觉的研究目标是使计算机具有通过二维图像认知三维环境信息的能力,这种能力将不仅使机器能感知三维环境中物体的几何信息,包括它的形状、位置、姿态、运动等,而且能对它们进行识别与理解。事实上,20世纪80年代形成的Marr的计算理论框架和其他计算理论框架中,绝大部分内容都涉及利用几何方法计算环境中的三维物体的形状、位置、姿态和运动。
中译本序
原书序
原书前言
第1章 概论——多视图几何之旅
1.1 引言——无处不在的射影几何
1.2 摄像机投影
1.3 由一幅以上的视图重构
1.4 三视图几何
1.5 四视图几何和n视图重构
1.6 转移
1.7 欧氏重构
1.8 自标定
1.9 收获I:3D图形模型
1.10 收获Ⅱ:视频增强
第0篇 基础知识:射影几何、变换和估计
本篇大纲
第2章 2D射影几何与变换
2.1 平面几何
2.2 2D射影平面
2.3 射影变换
2.4 变换的层次
2.5 1D射影几何
2.6 射影平面的拓扑
2.7 从图像恢复仿射和度量性质
2.8 二次曲线的其他性质
2.9 不动点与直线
2.10 结束语
第3章 3D射影几何与变换
3.1 点和射影变换
3.2 平面、直线和二次曲面的表示和变换
3.3 三次绕线
3.4 变换的层次
3.5 无穷远平面
3.6 绝对二次曲线
3.7 绝对对偶二次曲面
3.8 结束语
第4章 估计——2D射影变换
4.1 直接线性变换(DLT)算法
4.2 不同的代价函数
4.3 统计代价函数和最大似然估计
4.4 变换不变性和归一化
4.5 迭代最小化方法
4.6 算法的实验比较
4.7 鲁棒估计
4.8 单应的自动计算
4.9 结束语
第5章 算法评价和误差分析
5.1 性能的上下界
5.2 估计变换的协方差
5.3 协方差估计的蒙特卡洛法
5.4 结束语
第1篇 摄像机几何和单视图几何
本篇大纲
第6章 摄像机模型
6.1 有限摄像机
6.2 射影摄像机
6.3 无穷远摄像机
6.4 其他摄像机模型
6.5 结束语
第7章 摄像机矩阵P的计算
7.1 基本方程
7.2 几何误差
7.3 受限摄像机的估计
7.4 径向失真
7.5 结束语
第8章 进一步讨论单视图几何
8.1 射影摄像机对平面、直线和二次曲线的作用
8.2 光滑曲面的图像
8.3 射影摄像机对二次曲面的作用
8.4 摄像机中心的重要性
8.5 摄像机标定与绝对二次曲线的图像
8.6 消影点与消影线
8.7 仿射3D测量和重构
8.8 由单视图确定摄像机标定K
8.9 单视图重构
8.10 标定二次曲线
8.11 结束语
第2篇 两视图几何
本篇大纲
第9章 对极几何和基本矩阵
9.1 对极几何
9.2 基本矩阵F
9.3 由特殊运动产生的基本矩阵
9.4 基本矩阵的几何表示
9.5 恢复摄像机矩阵
9.6 本质矩阵
9.7 结束语
第10章 摄像机和结构的3D重构
10.1 重构方法概述
10.2 重构的多义性
10.3 射影重构定理
10.4 分层重构
10.5 直接重构——利用地面知识
10.6 结束语
第11章 基本矩阵F的计算
11.1 基本方程
11.2 归一化8点算法
11.3 代数最小化算法
11.4 几何距离
11.5 算法的实验评估
11.6 F的自动计算
11.7 计算F的特殊情形
11.8 其他元素的对应
11.9 退化
11.10 计算F的几何解释
11.11 对极线的包络
11.12 图像矫正
11.13 结束语
第12章 结构计算
12.1 问题陈述
12.2 线性三角测量法
12.3 几何误差代价函数
12.4 Sampon近似(一阶几何矫正)
12.5 最优解
12.6 估计3D点的概率分布
12.7 直线重构
12.8 结束语
第13章 场景平面和单应
13.1 给定平面的单应和逆问题
13.2 给定F和图像对应下平面诱导的单应
13.3 由平面诱导的单应计算F
13.4 无穷单应H∞
13.5 结束语
第14章 仿射对极几何
14.1 仿射对极几何
14.2 仿射基本矩阵
14.3 由图像点对应估计FA
14.4 三角测量
14.5 仿射重构
14.6 Necker反转和浅浮雕多义性
14.7 计算运动
14.8 结束语
第3篇 三视图几何
本篇大纲
第15章 三焦点张量
15.1 三焦点张量的几何基础
15.2 三焦点张量和张量记号
15.3 转移
15.4 三幅视图的基本矩阵
15.5 结束语
第16章 三焦点张量T的计算
16.1 基本方程组
16.2 归一化线性算法
16.3 代数最小化算法
16.4 几何距离
16.5 算法的实验评价
16.6 T的自动计算
16.7 计算T的特殊情形
16.8 结束语
第4篇 N视图几何
本篇大纲
第17章 N线性和多视图张量
17.1 双线性关系
17.2 三线性关系
17.3 四线性关系
17.4 四张平面的交
17.5 计数讨论
17.6 独立方程数
17.7 选取方程
17.8 结束语
第18章 N视图计算方法
18.1 射影重构——捆集调整
18.2 仿射重构——分解算法
18.3 非刚性分解
18.4 射影分解
18.5 利用平面的射影重构
18.6 由序列重构
18.7 结束语
第19章 自标定
19.1 引言
19.2 代数框架和问题陈述
19.3 利用绝对对偶二次曲面标定
19.4 Kruppa方程
19.5 分层解法
19.6 由旋转摄像机标定
19.7 由平面自标定
19.8 平面运动
19.9 单轴旋转——转台运动
19.10 双眼装置的自标定
19.11 结束语
第20章 对偶
20.1 Carlsson-Weinshall对偶
20.2 简化重构
20.3 结束语
第21章 正负性
21.1 准仿射变换
21.2 摄像机的前面和后面
21.3 3维点集合
21.4 获得一个准仿射重构
21.5 变换正负性的效果
21.6 定向
21.7 正负性不等式
21.8 哪些点在第三幅视图中可见
21.9 哪些点在前面
21.10 结束语
第22章 退化配置
22.1 计算摄像机投影矩阵
22.2 两视图中的退化特性
22.3 Carlsson-Weinshall对偶
22.4 三视图临界配置
22.5 结束语
第5篇 附录
附录1 张量记号
附录2 高斯(正态)分布与卡方分布
附录3 参数估计
附录4 矩阵性质和分解
附录5 最小二乘最小化
附录6 迭代估计方法
附录7 某些特殊的平面射影变换
参考文献
后记