三维视觉的工件识别与定位系统

摘要

　　随着重型机械行业的崛起，中厚板件的使用越来越广泛，而中厚板件的连接往往需要开坡口。现在国内大多采用人工开坡口和机器开坡口的方式，效率低，加工环境差，劳动强度高。工件自动识别与定位系统的引入大大提高了生产效率，改善了加工工人的工作环境。本文提出了一种基于三维视觉的工件自动识别与定位系统，完成了以下的工作：

　　建立了一种基于三维视觉的工件识别与定位系统，主要包括、控制系统、执行机器人、图像采集装置、图像处理及分析软件。基于三维视觉的工件识别与定位系统具有两大特点：（1）采用了工业上通用的 KUKAKR5ARC 机器人作为执行机器人本体，其强大的空间曲线运动算法，非常适用于自动化切割环境。（2）采用了性价比较高的AT 三维相机，其大视角，高精度的特点，为自动化加工提供了便利。

　　提出了一种基于点云模板的加工工件自动识别算法。其核心算法是先利用基于点云模板的匹配算法进行点云粗匹配，将工件点云数据和数字模型库中的数模转换到较近的位置，再使用经典的点云最近点迭代法（ICP）进行精匹配，完成目标工件的数字模型的自动识别。

　　实验表明，工件自动识别算法有很好的自动化识别效果和精度，提高了系统的自动化程度，并通过计算点云数据和数字模型库中的数模匹配得到数模坐标系到相机坐标系间的转换关系。

　　针对待加工工件数字模型的特点，利用数字模型的投影视图，采用了一种基于投影算法的工件待加工坡口信息提取算法。进行了工件待加工坡口信息提取算法的验证。实验表明，坡口信息提取算法能有效的完成加工坡口信息的提取。

　　提出了三维视觉的工件识别与定位系统的定位方法。采用同源点最小二乘匹配算法进行工件识别与定位系统内各坐标系间的相互转换，利用执行机器人的关节特性，提出了数模坐标系到机器人工具坐标系的定位算法，实现了工件识别与定位系统的导航。并进行了该定位算法的精度验证实验。实验表明，定位算法的最大误差为 0.27mm，平均误差为 0.24mm，该定位算法精度满足实际坡口切割的要求。

　　提出了基于三维视觉工件识别与定位系统的实验方案。基于此实验方案，分别进行了工件自动识别算法、坡口信息提取算法和整体系统的精度验证实验。实验结果表明：工件自动识别与工件待加工坡口信息提取算法是可行的，整个系统的最终精度是 1.98mm，满足自动化切割加工精度要求。实验结果表明基于三维视觉工件识别与定位系统不仅具有很高的自动化，而且具有很好的适用性。

　　关键词:三维视觉，手眼标定，图像匹配识别，坡口轨迹定位

ABSTRACT

　　With the rise of the heavy machinery industry, the use of thick plates has become more widespread, and thick plate connections often require beveling. At present, the widly use of the domestic methods is artificial beveling and machine beveling, they are low efficiency , poor processing environment, and high labor intensity. The introduction of automatic workpiece recognition and positioning system has greatly improved the production efficiency and the working environment of the processing workers. This paper presents a three-dimensional vision based automatic workpiece recognition and positioning system, completed the following work:

　　A three-dimensional vision-based workpiece recognition and positioning system was established, including the control system, execution robot, image acquisition device, image processing and analysis software. The workpiece recognition and positioning system based on three-dimensional vision has two major features: (1) The KUKA KR5 ARC robot, which is commonly used in the industry, is used to implement the robot body. Its powerful spatial curve motion algorithm is very suitable for automated cutting environments. (2) Adopting AT 3D camera with high cost performance, its large viewing angle and high precision provide convenience for automated processing.

　　An algorithm for automatic recognition of machined workpiece based on point cloud template was proposed. The core algorithm is to use the matching algorithm based on the point cloud template to perform rough point cloud matching, convert the workpiece point cloud data and the digital-analogue in the digital model library to a closer position, and then use the classic method (ICP) Fine-matching to complete the automatic recognition of the digital model of the target workpiece.

　　Experiments show that the automatic workpiece recognition algorithm has a very good automatic recognition effect and accuracy, improves the degree of automation of the system, and obtains the digital-analog coordinate system to the camera coordinate system conversion relationship by calculating the point cloud data and the digital-analog matching in the digital model library.

　　According to the characteristics of the workpiece digital model, using the projection view of the digital model, an algorithm based on the projection algorithm is used to extract the groove information of the workpiece. The verification of the groove information extraction algorithm for the workpiece was performed. Experiments show that the groove information extraction algorithm can effectively complete the extraction of processed groove information.

　　A positioning method for three-dimensional visual workpiece recognition and positioning system is proposed. The homology point least squares matching algorithm was used to transform the coordinate system between the workpiece recognition and positioning system. Using the joint characteristics of the executing robot, a positioning algorithm of the digital-analog coordinate system to the robot tool coordinate system was proposed. The workpiece recognition and positioning system navigation is realized. The accuracy verification experiment of this positioning algorithm was performed. Experiments show that the maximum error of positioning algorithm is 0.27mm and the average error is 0.24mm. The accuracy of the positioning algorithm meets the requirements of the actual groove cutting.

　　An experimental scheme based on three-dimensional visual workpiece recognition and positioning system was proposed. Based on this experimental scheme, an automatic workpiece recognition algorithm, a groove information extraction algorithm, and an overall system accuracy verification experiment were performed. The experimental results show that the workpiece automatic identification and workpiece processing groove processing information extraction algorithm is feasible, the final system accuracy is 1.98mm, to meet the requirements of automated cutting machining accuracy. The experimental results show that the three-dimensional visual workpiece recognition and location system not only has a high degree of automation, but also has a good applicability.

　　KEY WORDS: Three-dimensional vision, Hand-eye calibration,Automatic recognition, Trajectory positioning

　　随着工业自动化的提出，先进制造技术和自动化生产迅速发展，重工行业发展尤其迅猛，很多重型机械多由中厚板件组成，因此中厚板的焊接质量也越来越受到重视[1]。一般来说中厚板的焊接为了保证焊接的质量和性能都需要开坡口。中厚板的使用寿命基本由焊接质量来决定，而焊接的好坏也大部分由坡口加工质量来决定。所以必须在中厚板件上开坡口[2]。

　　中厚板件可以人工开坡口、机器开坡口和机器人开坡口，如果这些中厚板件完全靠手工开坡口，工人的劳动强度是非常大的。而且人工开坡口过程中，焊缝焊接质量很难得到保证，效率也非常低[3]。机器开坡口是现在较为常用的方法，开坡口机体积小、结构简单、操作方便、可一次加工成型、效率较高。

　　除了机器开坡口的方式，还有机器人开坡口的方式。相比人工开坡口和机器开坡口，工业机器人具有可连续工作，对工作环境要求低，生产效率高、便于管理等优点[4]。开坡口的机器人在投入应用之前多需要进行人工试教或离线编程来实现功能。在线示教优点很明显。在线示教能在短时间内进行操作，而且操作较简单，对示教的轨迹能轻易的修改。在线示教的缺点同样明显，示教对很复杂的运动轨迹显得无能为力，且运动的重复性很差[5]。在某种情况下示教的精度直接由示教的编程人员决定，他的经验往往决定了示教的精度，而且无法实现多操作同时进行。相较于在线示教，离线编程便能很好的解决上述问题，离线编程在解决机器人复杂运动的问题上具有明显的优势。在机器人正常工作时，离线编程也是可以同时进行的。同样离线编程也具有缺点，离线编程的特点决定了它没有很好的适应性，不能轻易的移植，对机器人的标定精度要求较高[6]。

　　采用机器视觉进行工件坡口的自动加工可以改善上述问题[7]。为了提高自动化加工时的工作效率，通常将工件随意摆放放在加工平台上，由于工件摆放较为随机，所以在自动加工前就需要在线确定目标工件的种类和位置，并获取待加工轨迹位置信息，因此需要引入机器视觉来完成。一般的，二维视觉是可以用来进行工业产品的识别与定位的，但是二维视觉只能获取外界的二维信息，难以精确呈现待检测和识别的物体的三维高度信息[8]。由于加工时需要确定工具的位姿信息，而位姿信息是通过工件的三维信息计算而来，使用二维视觉方法无法获得工件的高度信息，因此不适用于自动化加工。就目前的三维视觉研究或者是基于双目视觉的三维重建，容易受背景噪声的影响；或者是仅基于激光扫描的三维重建，无法获取物体细节信息[9]。三维视觉不仅抗干扰能力强，精度高，还能很好的获取物体的细节信息，为工件自动识别和待加工坡口信息提取提供基础[10]。国内外的学者对三维视觉物体识别与轨迹定位进行了许多研究，但受到实际加工环境的制约和自动化算法的不完善等原因，大多应用在计算机图像信息领域，真正应用在机器人加工领域的并不多[11]。

　　本文提出将三维视觉系统应用在自动化切割领域，利用工件自动识别和待加工坡口信息提取算法实现工件的自动化切割。首先采用基于工件点云数据与数字模型匹配的算法从数字模型数据库中识别待加工工件，然后用基于正交投影算法的方式提取待加工轨迹信息，获得机器人合适的加工位姿，从而实现目标工件的自动化切割。本系统不仅有很好的加工精度，而且自动化程度高。

　　因此，本课题拟通过将二维相机与激光相结合的方法组成三维相机来获取工件三维信息，并通过模板匹配和正交投影的方法识别待加工工件及相应加工轨迹信息，为中厚板加工自动化提供基础数据。基于三维视觉的工件识别与定位系统中工件自动识别与手眼标定是两大核心算法。本文就这两大算法的研究现状进行分析。许多专家希望通过自己的努力让机器视觉变得和人类的视觉一样，从而可以在大多数作业的环境下让机器视觉代替人类视觉，成为机器的眼睛[12]。如何处理分析图像并提取出需要的有用的信息是机器视觉的主要研究内容。机器视觉是现在大热的研究领域[13]。在工业应用中更是备受青睐。

　　机器人控制柜，机器人本体，视觉系统可以分别看作是类似于人的大脑，手臂和眼睛。拥有了眼睛的机器人，就借助眼睛来获取想要的信息，从而像人一样的智能化地完成各种作业任务。现在对机器视觉系统应用最广泛的是对工件的抓取与分拣，利用视觉系统采集到目标工件的图像，分析处理得到抓取的位姿，从而引导机械臂抓取工件[14]。

　　与其他国家相比，美日两国是在机器视觉领域研究最成熟的国家[15]。日本学者 Murakami[16]研究出了基于机器视觉的弧焊机器人，采用神经网络算法对采集到的焊缝图像进行处理分析，从而得到焊缝轨迹。Nagata[17]研究出了基于遗传算法的机器人视觉伺服系统。西澳大学研发的 Australia's Telerobot 机器人[18]，在六自由度的关节机器人上装配视觉系统完成对机器人的控制。

　　对实际物体的识别是机器视觉领域的热点问题[19]。现在世界大多数工业化国家中都有非常广泛的应用，比如无人驾驶车，拟人机器人，无人机等等。三维视觉相较与二维视觉，在识别物体上具有比较大的不同，二维只局限与平面，三维包含了庞大的三维信息。现在的三维视觉识别算法主要是两类：基于模板的三维物体识别算法，及基于特征的三维物体识别算法，基于特征的三维物体识别算法不适用于本文的研究内容，所以重点介绍基于模板的三维物体识别算法。三维点云存储数据已广泛应用于各种领域，与人们的生活息息相关[20]。将两点云统一放在一个坐标系下，并完成重叠，识别出工件的种类，这个过程就叫做点云数据的匹配[21]。

　　按照匹配的方式对三维点云数据进行分类，可以分为点云匹配和多点云匹配两种[22]。多点云匹配方法就是对多个点云数据进行匹配，其中多点云匹配方法是比较典型的匹配方法。所以本文重点介绍多点云匹配方法。本文讨论的是多点云匹配方法。我们把将要匹配的两个点云分别叫做初始点云集合 P 和目标点云集合 Q，而点云之间进行匹配的本质是找到两个点云之间的变换矩阵 T。

　　根据两点云之间的变换是否为刚性的，三维点云数据的匹配可以分为非刚性变换下的点云数据匹配和刚性变换下的点云数据匹配[23]。其中非刚性的点云数据匹配需要考虑点云的变形，该方法在特定的环境非常适用，但在一般的环境中精度不高[24]。本文的匹配算法，可以分为粗匹配和精匹配两步。粗匹配将两个点云变换到一个相对较近的位置，防止落入局部最优和不收敛的情况；先粗匹配再精匹配，现介绍以下几种匹配方法：

　　（1）基于机械设备的点云匹配方法：Varady 等人[25]设计了一个由六自由度的旋转平台和一个坐标扫描仪组成的测量装置。该设备通过开始设定的旋转角度和测量距离，然后平台的多次旋转，将每次旋转扫描得到的点云数据进行拼接，从而获得完整的点云数据。Lai等人[26]改进了此设备，减少了目标工件的自由度，限制了目标工件的旋转和移动。但该方法虽然可以实现让目标工件沿着固定的方向移动或者固定的轴转动，但是这样限制目标工件自由度的方式不适用于所有几何形状的物体，不具有一般性，不能将目标工件的所有信息采集完全；吴敏[27]将目标工件固定住，然后推导采集装置的变换关系，来进行点云数据间的匹配。上述方法的优点是可以获得两个点云间高精度的转换关系，缺点是成本太贵，对目标工件有诸多限制，操作性不好。

　　（2）人机交互式的点云拼接方法：顾名思义该方法是可以进行人为的加入点云。清华大学罗先波等人[28]

　　利用相同特征点在不同坐标系下的位置关系的原理，采用在目标工件上做上特殊标记，保证不同视角的图像上都能采集到该特殊标记的方法，求出点云数据间的刚性转换矩阵。这种做标记的点云匹配方式效率还是很高的，但只限于二维特征明显的物体，并且操作费时费力，对待测物体表面也有要求，所以这种方法同样的不具备一般性。

　　（3）基于主成分分析的点云配准法：Kim[29]、戴静兰[30]等人首先在点云数据的主轴方向上进行匹配，然后计算得到点云数据的协方差矩阵，通过协方差矩阵求出两个点云间的转换矩阵。这种方法计算量不大，运算时间较短，但缺点是对两个点云数据间的重叠区域的数量有一定要求，并且越多越好。

　　（4）基于几何特征不变量的点云配准方法：该方法是依据点云数据之间的重叠区域来进行的，利用重叠区域间的重叠点求得点云数据之间的转换关系，这样做是为了把点云匹配问题进行简化。该问题的难点是不能直观对点云数据区域的重叠进行观察或分析。但因为两点云之间是刚性的变换，所以两点云数据间是不变的，然后利用基于不变量的算法求出点云之间的转换关系，从而完成点云数据之间的匹配[31]。Stamos 与 Lcordeanu[32]通过提取直线段完成匹配。限定了刚开始点云数据匹配的精度，以点云之间的直线作为基准进行匹配。Chen 等人[33]对上述方法进行了改进，用另外一种直线间的匹配方式。该方法的缺点是对非长条状或者形状特征非直线的物体匹配效果很不好，不具有一般性。

　　Johnson 等人[34]利用采集到的图像的自我旋转来进行点云匹配。空间曲面上局部的具有不变形的几何形状的信息作为算子匹配的单元，点云之间的转换矩阵，通过点云数据之间对应匹配单元的相关程度来确定。后来 HuberDHuberM等人[35]对该方法的鲁棒性做了提高。

　　Ayache 等人[36]基于点云曲面之间的主曲率作为标准，提出了一种匹配算法。将点云数据间拥有相似主曲率的点做点对，然后计算出每对点云的法向量方向，根据向量方向计算出转换矩阵。朱延娟[37]、薛耀红[38]等人在利用曲率做完匹配之后，将点对间的七维分量做离散化处理，最后利用哈希链表计算出转换矩阵。但这个方法匹配精度不高，产生了很多错误匹配点对。

　　Jiang 等人[39]计算每个点与点之间的法向量夹角，然后通过比较法向量夹角的大小完成匹配，但这个方法容易受到噪声影响，稳定性差。彭玉辉等人通过限制对三角点对的方式，提高了上述方法的精度，但增加了匹配时间的消耗，而且同样的不具备稳定性，容易受到噪声的影响。Manay[40]对基于积分的欧氏特征不变量做了研究，利用其类似与曲率特征的这一个特性，完成了点云数据之间的匹配。这一方法具有很好的鲁棒性，提高了抗噪声的能力。Gelfand[41]在三维情况下将这种方法做了推广，改变了对初始位置有要求的这一特点。彭博[42]利用一维和高维的曲率，在不同尺度的空间下完成特征点的提取与点云数据的匹配。

　　精匹配方法，在主流方法中主要分为两种方式，于 1992 年由 Besl 和Mckay[43]提出的 ICP 算法（迭代最近点算法）和改进的 ICP 算法。所有点云数据的精匹配都是基于 ICP 算法来进行的，它在任意曲面的匹配问题上具有很好的一般性。该方法首先在点云数据间找寻最近点，然后利用目标函数计算出最近点的欧式距离，热后再次寻找最近点，如此不断迭代，最后满足了设定的收敛情况就会终止。原始的 ICP 算法是非常经典的点云匹配算法，但会在点云匹配上耗费大量的时间，而且往往会因为点云数据的起始位姿而使迭代陷入局部最优。所以基于此，大量的学者专家对 ICP 算法做出了改进。

　　三维视觉的工件识别与定位系统实验：

现场布局图

点云数据库

匹配结果

工件俯视图

加工轨迹与对比图

J 形件加工轨迹

目 录

　　第一章 绪论
　　　　1.1 研究背景与研究意义
　　　　1.2 国内外研究现状
　　　　　　1.2.1 工业机器人视觉系统介绍
　　　　　　1.2.2 工件识别定位算法研究现状
　　　　　　1.2.3 手眼标定算法研究现状
　　　　1.3 本文主要研究内容
　　第二章 基于三维视觉的工件识别与定位系统的建立
　　　　2.1 工件识别与定位系统总体结构
　　　　2.2 工件识别与定位系统的硬件结构
　　　　　　2.2.1 系统组成及工作原理
　　　　　　2.2.2 执行机器人
　　　　　　2.2.3 图像采集装置
　　　　2.3 工件识别与定位系统的软件支持
　　　　2.4 本章小结
　　第三章 基于三维视觉的工件自动识别技术
　　　　3.1 工件自动识别流程
　　　　3.2 点云数据提取
　　　　3.3 点云识别粗匹配
　　　　　　3.3.1 法向量计算
　　　　　　3.3.2 曲率计算
　　　　　　3.3.3 特征提取
　　　　　　3.3.4 点云匹配
　　　　3.4 点云识别精匹配
　　　　　　3.5 算法验证
　　　　　　3.6 本章小结
　　第四章 工件待加工轨迹信息提取
　　　　4.1 轨迹信息提取流程
　　　　4.2 图像灰度化
　　　　4.3 正交投影算法
　　　　　　4.3.1 正交投影基本定义
　　　　　　4.3.2 正交投影转换矩阵
　　　　4.4 三维重建
　　　　　　4.4.1 基本定义介绍
　　　　　　4.4.2 三维重建算法
　　　　4.5 实验验证
　　　　4.6 本章小结
　　第五章 工件自动定位技术
　　　　5.1 手眼标定模型的建立
　　　　　　5.1.1 相机模型
　　　　　　5.1.2 图像坐标系
　　　　　　5.1.3 相机坐标系
　　　　　　5.1.4 世界坐标系
　　　　　　5.1.5 机器人坐标系
　　　　5.2 三维相机手眼系统同源点匹配标定算法
　　　　　　5.2.1 同源点定义及选取
　　　　　　5.2.2 同源点最小二乘法匹配问题求解
　　　　5.3 手眼标定算法精度验证
　　　　5.4 本章小结
　　第六章 基于三维视觉的工件识别与定位实验
　　　　6.1 基于三维视觉的工件自动识别实验
　　　　6.2 基于三维视觉的工件待加工坡口信息提取实验
　　　　6.3 基于三维视觉的工件识别与定位精度验证
　　　　6.4 本章小结
　　第七章 结论与展望
　　　　7.1 结论
　　　　7.2 展望
　　参 考 文 献
　　致 谢
　　附录 1 多工件自动化切割程序
　　附录 2 手眼标定程序
　　研究成果及发表的学术论文
　　作者及导师简介

（如您需要查看本篇毕业设计全文，请您联系客服索取）