《计算机视觉技术：事件相机原理与应用》是一本关于事件相机原理基础的入门类图书。主要从计算机视觉技术的基础和相关数学基础开始讲解，对事件信息的编码、事件的卷积（普通卷积、稀疏卷积、图卷积、3D 卷积）分别进行了生动的介绍，后又通过三个章节，对基于长短期记忆网络（LSTM）、脉冲神经网络（SNN）、生成对抗网络（GAN）的事件处理的原理和方法做了解读。
本书图文并茂，文字生动有趣，内容浅显易懂，并配有较多例题和习题，以便读者理解和巩固，适用于对事件相机方向感兴趣的技术人员阅读，同时也可供计算机视觉方向的初学者阅读和学习。
1.本书对计算机视觉技术方向的基础理论进行了讲解，可作为该方向的入门类图书。
2.本书是国内首本事件相机方向的图书。
3.本书用较大篇幅对卷积神经网络的相关原理和方法进行了论述。
4.本书包含LSTM/GAN/脉冲神经网络等前沿技术。
5.本书理论性较强，为读者打好理论基础。
事件相机作为一种新型相机，也称为动态视觉相机、硅视网膜相机、仿生相机等，近年来在计算机视觉领域初露头角。十几年前，数码相机代替胶片相机，淘汰了一个时代，现在手机相机的拍照质量飞速提高，消费级数码相机市场占有率也在逐步下降。传统相机包括CMOS 相机、CCD 相机，或者RGBD相机，它们都有一个参数帧率，相机总是以恒定的帧率拍摄获取图像。因此，无论传统相机拍摄有多快，都有一定的延迟问题。传统相机需要曝光时间，使感光器件积累一定量的光子信息才能完成一次拍摄。因此，在夜间或者光照不足的情况下，以常规帧率进行拍照，成像效果并不好。而且在曝光时间之内，如果物体出现高速运动，则会产生模糊。另外，传统相机的感光动态范围较低，具体表现为在光线极差或者亮度极高时，相机无法获取到需要的信息。
事件相机对光的变化敏感，可以发现在场景内只要亮度一有变化就会输出光变化的事件信息，且仅输出光变化的数据。由于每个像素单元独立可访问，所以占用了很小的带宽，同时由于事件相机更擅长捕捉亮度变化，所以在较暗和强光场景下也能输出有效数据。事件相机具有低延迟( ＜1s )、高动态范围(140dB )、极低功耗(1mW )等特性。如果说传统相机更像是对静止物体信息的有效获取，那么事件相机则提供了一种对场景内运动信息获取的有效方式。事件相机作为一种新型的相机，可以构成对获取场景静止信息的传统相机的有效补充，也可以独立使用完成运动信息高效的输出。
目前关于事件相机的书籍较少，多数信息仍然在相关的英文论文和产品介绍中。并且国内外的相关论文和介绍难度较高，要求数学能力较高。因此，撰写本书的目的在于提供一本关于事件相机及其应用的基础的入门类图书。本书介绍了关于事件相机的相关基础知识与操作，编排风格较为简洁，配有较多图片和例题，以便读者理解与巩固。全书内容分为三部分，部分为第1 章，主要介绍计算机视觉基础；第二部分为第2 章，主要介绍相关数学基础及事件相机的原理；第三部分为第3～第10 章，主要介绍事件相机的编码、处理方法及应用。本书适用人群包括对计算机视觉感兴趣的高中生、本科生、研究生以及有意了解事件相机的科研人员及爱好者。
本书由高山指导，乔诗展负责编写，叶汝楷负责审核及校对。
编者水平有限，书中难免会有疏漏之处，请广大学者批评指正。
编著者
第1 章 计算机视觉简介 001
1.1 计算机视觉的概念 001
1.2 计算机视觉的应用 002
1.2.1 图像分类 003
1.2.2 目标检测 003
1.2.3 图像分割 004
1.2.4 目标跟踪 004
1.2.5 其他应用 005
1.3 思考与练习 005
第2 章 事件相机的原理 006
2.1 数学基础知识 007
2.1.1 导数 007
2.1.2 积分 014
2.1.3 神经元模型 018
2.1.4 多层感知机与全连接层 023
2.1.5 损失函数 028
2.1.6 神经网络的优化 030
2.2 事件相机的概念及原理 034
2.3 常用的事件相机 042
2.3.1 DVS 相机 042
2.3.2 ATIS 相机 043
2.3.3 DAVIS 044
2.3.4 商业事件相机 044
2.4 思考与练习 045
第3 章 事件信息的编码 046
3.1 点云式编码 046
3.2 CountImage 编码 047
3.3 张量式编码 049
3.4 局部CountImage 编码 050
3.5 TimeImage 编码 051
3.6 Leaky Surface 编码 053
3.7 思考与练习 056
第4 章 事件的普通卷积 057
4.1 2D 卷积的基本原理 057
4.2 卷积神经网络的组成 064
4.2.1 卷积层 064
4.2.2 池化层 065
4.2.3 全连接层 066
4.2.4 全局/平均池化 067
4.3 事件2D 卷积的适用范围 068
4.3.1 编码要求 068
4.3.2 直接事件卷积存在的问题 070
4.4 思考与练习 071
第5 章 事件的稀疏卷积 072
5.1 稀疏卷积的基本原理 072
5.1.1 SC 层的定义 072
5.1.2 VSC 层的定义 074
5.2 稀疏池化与全连接层 079
5.2.1 稀疏池化层 079
5.2.2 稀疏全连接层 081
5.3 稀疏卷积的特征 082
5.3.1 编码要求 082
5.3.2 流形拟合特性 082
5.3.3 稀疏卷积的缺点 083
5.4 思考与练习 083
第6 章 事件的图卷积 084
6.1 图卷积的基本原理 084
6.1.1 事件的采样 084
6.1.2 图的概念及事件图的构建 088
6.1.3 图卷积的定义 094
6.1.4 图池化及图全连接层的定义 097
6.2 图卷积的特性 099
6.2.1 编码要求 099
6.2.2 图的普适性 099
6.2.3 方向可变性 100
6.3 思考与练习 101
第7 章 事件的3D 卷积 102
7.1 3D 卷积的原理 102
7.1.1 卷积层的扩展 102
7.1.2 池化层的扩展 105
7.2 事件输入与3D 卷积的特点 108
7.2.1 事件输入的编码要求 108
7.2.2 直接3D 卷积的现存问题 109
7.2.3 3D 卷积的可分解性 110
7.3 4D 卷积简介 110
7.4 思考与练习 114
第8 章 基于LSTM 的事件处理 115
8.1 LSTM 的基本原理 115
8.1.1 LSTM 细胞的定义 115
8.1.2 LSTM 的运算更新 118
8.2 LSTM 的变体及事件处理 123
8.2.1 ConvLSTM 123
8.2.2 PhasedLSTM 125
8.3 思考与练习 126
第9 章 基于脉冲神经网络的事件处理 127
9.1 普通神经元的局限 127
9.2 脉冲神经网络的概念 128
9.2.1 脉冲神经元模型 130
9.2.2 脉冲全连接层 133
9.2.3 脉冲卷积层 135
9.2.4 脉冲池化层 136
9.3 脉冲神经网络的学习 137
9.4 脉冲神经网络的特点 138
9.4.1 编码要求 138
9.4.2 脉冲神经网络的局限 139
9.5 思考与练习 140
第10 章 基于生成对抗网络的事件处理 141
10.1 生成对抗网络的基本原理 141
10.1.1 普通GAN 的对弈原理 141
10.1.2 cGAN 的对弈原理 148
10.1.3 Cycle-GAN 的对弈原理 149
10.1.4 Info-GAN 的对弈原理 154
10.2 事件图像的生成 155
10.3 思考与练习 157
参考文献 158
书单推荐
