机器视觉技术作为当前的热门技术之一,在智能制造领域得到了广泛的应用。
本书从机器视觉的基本概念到机器视觉算法,从机器视觉核心部件到可配置的纯嵌入式视觉系统,从2D视觉技术到3D视觉技术,从黑白视觉技术到彩色视觉技术,从传统视觉技术到深度学习技术,从视觉系统设计方案到各行业的应用场景,从视觉检测、测量、定位、读码与识别四大需求到实际应用案例都分别进行了详细介绍。
本书可作为普通本科、高职高专院校机器视觉课程的教学用书,也可供从事相关行业的工程技术人员、研发人员参考。
本书特色:系统全面、超值实用,实例演示、快速上手。
本书侧重于工业机器视觉的应用,与同类教材相比,本书的所用应用都是真实的案例,且与行业的工艺相结合,从项目的需求到如何硬件选型,从项目难点到解决思路,再到软件的操作应用,都有非常详细的介绍。读者遇到同类型项目可直接借鉴与参考,乃至直接使用。
现阶段机器视觉应用类的书籍不多,与竞争图书相比内容上更系统、更全面、也更贴合实际。所有的应用案例都是真实的,且与行业的工艺相结合,应用案例涉及各行各业,所有的软硬件都是国内外知名的视觉品牌产品。
丁少华,深圳市视觉龙科技有限公司董事长兼总经理,江苏省“创新创业”人才,江苏省机器人与智能装备技术委员会专家,深圳国家高技术产业创新中心专家库成员,中国机器视觉产业联盟(CMVU)首任主席。 曾先后就读于武汉理工大学和华中科技大学,分别获得硕士和博士学位,博士期间师从杨叔子院士、段正澄院士和李培根院士,在专家系统、神经网络的理论基应用方面具有较高的造诣。之后作为博士后研究员在英国杜伦大学(Durham University)从事人工智能领域专家系统应用及软件开发。 有7年海外工作经验,其中4年国外院校教学经验,曾先后任职新加坡EC-Asia International CTO, 新加坡MOSS Labs CTO,香港上市公司日东集团主任工程师等重要职位。2002年回国后创办了“视觉龙”品牌,直专注机器视觉领域的研发及产业化工作17年,主导研发项目超过50项,获得知识产权50余项,发表论文20余篇。
李雄军,深圳大学物理与光电工程学院副教授,硕士生导师。华中科技大学工业自动化专业学士、机械制造专业硕士和博士学位。武汉水利电力大学博士后,在香港城市大学、英国Huddersfield大学、香港大学进行过学术访问。主要研究兴趣包括机器视觉、模式识别与人工智能、深度学习、智能控制与检测技术、嵌入式系统设计与开发、机器人。在国内外权威期刊发篇论文30余篇,授权国家发明专利1项,申请国家发明专利2项。主持或参加完成国家自然科学基金、市科技基金多项,主持在研国家自然科学基金重大仪器专项子课题1项。2007年获深圳大学学术创新奖,近年来指导学生获得学科竞赛3项全国一等奖,1项全国二等奖,1项省级特等奖等多个奖项,曾获深圳大学优秀本科教学奖、“腾讯优秀教师奖”、蓝桥杯全国大赛“优秀指导教师奖”。
第 1篇 基础篇
第 1章 机器视觉基础 2
1.1 机器视觉基本概念 2
1.1.1 机器视觉与计算机视觉的关系 2
1.1.2 机器视觉的特点与优势 3
1.1.3 机器视觉系统 4
1.2 机器视觉系统分类 6
1.2.1 按操作方式分类 6
1.2.2 按性能分类 8
1.3 机器视觉发展史 10
1.3.1 国外机器视觉发展史 10
1.3.2 国内机器视觉发展史 11
1.4 机器视觉市场分析 13
1.4.1 销售额分析 13
1.4.2 专利分析 14
1.4.3 企业分析 14
1.5 机器视觉应用场景 16
1.5.1 机器视觉典型应用 16
1.5.2 机器视觉应用行业 19
1.6 小结 23
习题与思考 23
第 2章 机器视觉算法基础 25
2.1 图像生成与表示 25
2.1.1 物体成像 25
2.1.2 图像量化 26
2.1.3 数字图像格式 27
2.2 图像的基本变换 31
2.2.1 线性变换 31
2.2.2 灰度直方图 32
2.2.3 图像二值化 33
2.2.4 灰度的窗口变换 33
2.2.5 图像的几何变换 34
2.3 图像滤波与增强 40
2.3.1 图像灰度修正 40
2.3.2 图像平滑 41
2.3.3 中值滤波 41
2.3.4 傅里叶变换 41
2.3.5 频率域滤波 44
2.4 图像形态学及常见的图像处理工具 46
2.4.1 腐蚀与膨胀 46
2.4.2 开运算与闭运算 47
2.4.3 细化 47
2.4.4 其他常见的图像处理工具 48
2.5 BLOB分析 54
2.5.1 BLOB分析的主要功能 54
2.5.2 BLOB分析其他基础及结果 55
2.6 2D图像匹配 61
2.6.1 图像标定 61
2.6.2 相关性分析方法 64
2.6.3 几何特征匹配 66
2.7 3D感知与目标识别 68
2.7.1 从2D图像中得到3D信息 68
2.7.2 采用单目和透视缩放技术获取深度信息 69
2.7.3 3D感知和匹配的理论基础 74
2.7.4 3D模板和匹配 75
2.8 小结 78
习题与思考 78
第 2篇 机器视觉系统核心部件
第3章 工业相机 80
3.1 工业相机基础知识 80
3.1.1 CCD和CMOS传感器芯片 80
3.1.2 相机的靶面尺寸和分辨率 82
3.1.3 相机的帧率/行频 82
3.1.4 相机的快门速度和曝光方式 82
3.1.5 相机的增益和白平衡 83
3.1.6 相机的触发模式 83
3.1.7 相机的接口 83
3.1.8 相机的取图协议 84
3.1.9 相机选型 85
3.1.10 不同品牌相机介绍 86
3.1.11 相机文档/手册解读 86
3.1.12 图像采集卡 88
3.2 面阵相机 88
3.2.1 面阵相机概述 89
3.2.2 面阵相机工作原理 89
3.3 线阵相机 90
3.3.1 线阵相机概述 90
3.3.2 线阵相机工作原理 90
3.4 三维视觉传感器 93
3.4.1 三维视觉传感器的分类 93
3.4.2 三维视觉传感器产品介绍 94
3.5 小结 97
习题与思考 97
第4章 工业镜头 98
4.1 镜头的基础知识 98
4.1.1 镜头的焦距 98
4.1.2 镜头的光圈 98
4.1.3 镜头的景深 99
4.1.4 镜头的工作距离和视野 99
4.1.5 视觉检测像素精度的计算公式 100
4.1.6 镜头的畸变及畸变校正 100
4.1.7 镜头接口 100
4.1.8 镜头选型 101
4.1.9 镜头对照表 101
4.2 FA镜头 103
4.3 远心镜头 104
4.3.1 常见的远心镜头类型 104
4.3.2 远心镜头的应用场合 105
4.4 线扫描镜头 106
4.5 特种镜头 107
4.5.1 短波红外镜头 107
4.5.2 长波红外镜头 107
4.5.3 微距镜头 107
4.5.4 360°镜头 108
4.5.5 内侧360°镜头 108
4.6 小结 109
习题与思考 109
第5章 机器视觉光源 110
5.1 光源在视觉系统中的重要性 110
5.2 光源的基础知识 110
5.2.1 LED光源特点 110
5.2.2 直射光和漫射光 111
5.2.3 镜面反射和漫反射 111
5.2.4 明视野和暗视野 112
5.2.5 色彩的互补色和增强色 113
5.3 常用光源、定制光源及光源控制器 114
5.3.1 常用光源 114
5.3.2 定制光源 118
5.3.3 光源控制器 119
5.4 光源选型和照明方式 120
5.4.1 现场需求 120
5.4.2 实物测试 120
5.5 光源实验台架 122
5.6 小结 122
习题与思考 123
第6章 视觉传感器 124
6.1 视觉传感器概述 124
6.2 视觉传感器的特点 125
6.2.1 VDSR视觉传感器介绍 125
6.2.2 功能特点 126
6.2.3 VDSR视觉传感器的参数 126
6.2.4 VDSR视觉传感器接口介绍 126
6.3 视觉传感器软件介绍 127
6.3.1 VDSR视觉传感器软件主界面 127
6.3.2 检测工具介绍 128
6.4 视觉传感器软件的多工具联合使用方法 136
6.4.1 VDSR视觉传感器软件的逻辑工具 137
6.4.2 VDSR视觉传感器软件脱机配置输出 138
6.4.3 VDSR视觉传感器通信 138
6.5 小结 139
习题与思考 139
第7章 智能相机 140
7.1 智能相机的系统组成 140
7.1.1 处理器及操作系统 141
7.1.2 相机 141
7.1.3 视觉软件 141
7.1.4 系统连接 141
7.2 功能特点和系列介绍 141
7.2.1 功能特点 141
7.2.2 智能相机系列介绍 142
7.3 智能相机软件介绍 142
7.3.1 配置保存 143
7.3.2 图像管理 143
7.3.3 任务管理 144
7.3.4 工具管理 144
7.4 相机工具 145
7.4.1 相机设置工具 145
7.4.2 图像保存工具 146
7.4.3 预处理工具 146
7.5 标定校准 147
7.5.1 相机标定校准 147
7.5.2 标定校准工具 147
7.6 视觉工具 148
7.6.1 几何定位 149
7.6.2 斑块定位 151
7.6.3 圆弧工具 155
7.6.4 直线工具 157
7.6.5 直线卡尺 159
7.6.6 颜色识别 161
7.6.7 轮廓缺陷 164
7.7 逻辑控制 165
7.7.1 条件执行 165
7.7.2 条件分支 166
7.7.3 循环工具 167
7.8 系统工具 168
7.8.2 生成文本 169
7.8.3 保存数据 170
7.8.4 接收文本 171
7.8.5 输出数据 171
7.8.6 I/O工具 172
7.8.7 ModbusTCP 174
7.8.8 TCP客户端 174
7.8.9 串口通信 175
7.8.10 与华数机器人的接口 176
7.8.11 三菱MX通信 178
7.9 小结 180
习题与思考 180
第3篇 机器视觉高级技术与工业应用案例
第8章 机器视觉系统设计方法 182
8.1 性能指标定义与计算方法 182
8.1.1 相机分辨率 182
8.1.2 像素分辨率 182
8.1.3 缺陷分辨率 182
8.1.4 软件测量分辨率 182
8.1.5 系统测量分辨率 183
8.2 精度分析方法 183
8.2.1 测量精度与重复精度 183
8.2.2 影响系统重复性的因素 185
8.3 机器视觉系统设计的难点 186
8.4 机器视觉系统设计流程 187
8.5 小结 190
习题与思考 190
第9章 视觉定位与对位 191
9.1 锂电池视觉定位案例 191
9.1.1 案例背景 191
9.1.2 视觉定位需求 191
9.1.3 视觉系统总体实施方案 192
9.1.4 硬件选型与安装 192
9.1.5 软件实现 194
9.1.6 其他案例 197
9.2 手机摄像头对位贴合案例 197
9.2.1 案例背景 197
9.2.2 视觉对位需求 197
9.2.3 视觉系统总体实施方案 198
9.2.4 硬件选型与安装 198
9.2.5 软件应用 199
9.2.6 结果数据输出 206
9.2.7 其他案例 206
9.3 小结 207
习题与思考 207
第 10章 机器人视觉引导 208
10.1 机器人视觉引导基础 208
10.1.1 机器人2D视觉引导 208
10.1.2 机器人3D视觉引导 210
10.2 螺丝机视觉定位引导案例 215
10.2.1 案例背景 215
10.2.2 视觉检测需求 215
10.2.3 视觉系统总体实施方案 215
10.2.4 硬件选型与安装 216
10.2.5 软件应用 217
10.2.6 结果数据输出 221
10.2.7 其他案例 223
10.3 金属工件单目3D定位引导案例 224
10.3.1 案例背景 224
10.3.2 视觉检测需求 224
10.3.3 硬件选型与安装 224
10.3.4 软件应用 225
10.3.5 其他案例 230
10.4 小结 230
习题与思考 230
第 11章 视觉测量 231
11.1 测量算法 231
11.1.1 尺寸测量 231
11.1.2 形状分析 232
11.2 手机摄像头底座金属框2D尺寸测量案例 233
11.2.1 案例背景 233
11.2.3 视觉系统总体实施方案 234
11.2.4 硬件选型与安装 234
11.2.5 软件应用 235
11.2.6 结果数据输出 239
11.3 金属标定块平面度检测案例 240
11.3.1 案例背景 240
11.3.2 视觉检测需求 241
11.3.3 视觉系统总体实施方案 241
11.3.4 硬件选型 241
11.3.5 软件应用 241
11.3.6 结果数据输出 248
11.3.7 其他案例 248
11.4 小结 248
习题与思考 248
第 12章 视觉读码与识别 249
12.1 电池视觉条码读取案例 249
12.1.1 案例背景 249
12.1.2 视觉检测需求 249
12.1.3 硬件选型与安装 249
12.1.4 软件应用 250
12.1.5 一维码读取案例配置 251
12.1.6 二维码读取案例配置 255
12.1.7 其他案例 258
12.2 小结 258
习题与思考 259
第 13章 视觉检测 260
13.1 背光模组外观缺陷检测案例 260
13.1.1 案例背景 260
13.1.2 视觉检测需求 260
13.1.3 视觉应用优势 261
13.1.4 硬件选型 261
13.1.5 案例场景 261
13.1.6 方案检测流程 262
13.1.7 结果数据输出 265
13.1.8 其他案例 265
13.2 模具保护器案例 265
13.2.1 案例背景 265
13.2.2 视觉检测需求 266
13.2.3 视觉应用优势 266
13.2.4 硬件选型 267
13.2.5 软件应用 267
13.2.6 结果数据输出 273
13.2.7 其他应用案例 274
13.3 小结 274
习题与思考 274
第 14章 颜色分析 275
14.1 色彩系统 275
14.1.1 RGB色彩系统 275
14.1.2 CMY色彩系统 276
14.1.3 HIS色彩系统 277
14.1.4 电视信号的YIQ与YUV系统 279
14.1.5 普通机器视觉系统的颜色支持和功能 279
14.2 色差测量的原理 284
14.2.1 色差定义 285
14.2.2 颜色的混色系统表示 285
14.2.3 CIE1931颜色空间 285
14.2.4 CIE1976均匀颜色空间 285
14.2.5 色差公式 286
14.3 圆饼玩具色差检测案例 288
14.3.1 案例背景 288
14.3.2 视觉检测需求 289
14.3.3 硬件选型 289
14.3.4 软件应用 290
14.3.5 结果数据输出 294
14.4 色度与亮度测量的原理 294
14.5 键盘色度与亮度检测案例 296
14.5.1 视觉检测需求 296
14.5.2 技术指标 296
14.5.3 案例总体方案 296
14.5.4 其他案例 301
14.6 小结 301
习题与思考 301
第 15章 深度学习技术及应用 302
15.1 引言 302
15.1.1 基本概念与相互关系 302
15.1.2 机器学习的步骤与模型评价指标 303
15.2 深度学习模型介绍 305
15.2.1 深度学习的起源——生物神经网络 305
15.2.2 神经元模型 306
15.2.3 人工神经网络 307
15.2.4 深度神经网络 309
15.3 BP神经网络与梯度下降法 310
15.3.1 手写数字识别BP神经网络 310
15.3.2 前向传播计算 312
15.4 卷积神经网络及LeNet-5网络 314
15.4.1 卷积神经网络 314
15.4.2 手写体数字识别模型LeNet-5网络 315
15.4.3 网络训练与测试 318
15.5 深度学习框架 319
15.6 深度学习在机器视觉中的应用 319
15.6.1 视觉智能的任务与挑战 319
15.6.2 深度学习与视觉智能 320
15.6.3 深度学习在机器视觉领域的应用概述 321
15.7 基于深度学习的钢管缺陷检测案例 323
15.7.1 案例背景 323
15.7.2 钢管外观缺陷检测需求 324
15.7.3 视觉系统总体实施方案 325
15.7.4 硬件选型 325
15.7.5 模型训练与控制软件配置 326
15.7.6 结果数据输出 333
15.8 小结 333
习题与思考 333
参考文献 334