基于双目识别的立体图像系统

基于双目识别的立体图像系统

吕强红邓同北魏娜

（黑龙江科技大学150022）

摘要：人类通过双眼进行事物的观察，两眼所进行的事物光纤的感知，可以帮助人脑完成对于事物距离判断，从而增强事物的立体感。本文所进行的视觉系统项目，结合人眼双目的事物观察特征，开展了视觉立体图像系统建设，同时借助先进的FPGA图像处理技术，对视觉系统所获取到的双目图像进行处理，从而完成事物的三维立体信息获取。

关键词：双目识别系统；立体信息；图像处理；FPGA技术

前言：项目所采用的图像处理技术为目前广泛应用于图像处理领域的先进技术FPGA技术。该技术主要依据并行电路特征，进行流水线连接以及并行阵列连接。其中流水线连接要求数据根据多个子电路的串联方式，形成子任务，完成信息导入；并行阵列连接模式则是通过并行计算，对相互独立电路使句进行分析。双目识别系统要求进行双眼模拟图像的同时处理，因此项目选用并行阵列连接完成图像处理。

一、双目识别机组系统建设

（一）双目相机选用

笔者在此前的项目当中，曾经完成了放生机械手机器人的设计和应用。为了保障放生机械手实际使用能够达到精准的事物判断，笔者进行了依托图像处理技术的双目视觉系统搭建。系统主要借助双目摄像机标定，完成对于事物信息的获取，图像处理则结合摄像机标定，来完成基于二维图像灰度的坐标体系建立，形成三位分析。由于以往的相关技术应用存在相机标定下的镜头畸变问题，因此笔者还进行了图像矫正的设置，从而提高系统的环境数据模拟精度。随着技术发展，目前广泛应用于机械生产领域的视觉系统设计，一般采用ETH系统。在这类系统当中，双目摄像机需要安装在机器人工作空间外的位置，外置摄像头不与本体进行联系，因此不会受到机器人的影响，可以更好地进行视野的追踪和调整[1]。为了达到这一目的，本文项目选取了著名生产单位所推出的相机产品，该相机产品拥有多种镜头接口，同时可以利用数据接口与数据平台完成连接。平台可采用vb、Delphi等语言对其进行处理。此外还选用了云台、定焦/变焦镜头两组，完成双目相机安装。

（二）双目视觉参考系

参考系是双目相机进行事物识别和图像位置三维信息获取主要依靠的参考方式。通常情况下，双目相机在进行事物信息识别和获取时，其整个成像过程往往需要利用到四个参考系。其中客观事物所处现实环境下的物体位置，为世界参考系；相机所处的相对位置，为相机参考系；图像成像所表现的位置为图像参考系；图像当中的像素信息所处位置为像素参考系。视觉系统在进行双目成像和图像数据处理时，需要进行多个参考系之间的相互转换，从而实现真实世界环境的三维反馈。具体的变换方式根据所处参考系的不同而分别构成。其中双目相机所完成的世界参考系转变相机参考系过程，是事物物体位置信息的转变过程，因此事物并不会发生形变，转换处理仅仅通过位移、旋转、平移等来完成，因此这个过程为刚体变换；其他变换过程由于参考系对于事物的描述方式不同，因此可能会发生事物数据信息的形变，因此为柔体变换。

（三）双目相机标定策略

相机标定方案的选择直接决定了相机设备能否完成事物的双目视觉信息获取，因此视觉系统为了达到精准化的图像获取要求，需要选择准确的双目标定策略。目前常见的相机标定法有双步法、线性变换法、双平面图法为代表的传统标定法以及以主动视觉法为代表的新型标定法。传统标定法的主要标定方式为已知点与图像点之间的相互对应，同时借助相机的内外参数，实现世界参考系当中的位置选择；主动视觉下的新型标定法则通过对相机的运动信息进行获取，从而依托相机特定运动完成目标的标定。对于两种类型的标定策略进行对比后可以发现，传统标定策略的主要优势在于适应性高，能够利用多种相机模型，获取高精度的信息获取。但是在图像处理方面，信息量巨大所造成的处理过程复杂问题也暴露出来。传统标定需要对标定物体进行模块划分，图像处理相对困难；相比之下新型的主动视觉标定策略具有较高的线性特征，较高的鲁棒效应，能够依据具体的相机活动做出特殊运动状态，从而完成对于相机参数的控制。不过主动视觉二标定对于相机成本要求较高。经过综合考量，本文项目选用主动视觉标定法，进行双目识别视觉系统建设。

二、系统图像处理技术运用

（一）赛灵思FPGA软件选用

FPGA图像处理软件是本文所在双目识别视觉系统设计的核心图像处理软件系统。双目识别视觉系统要求两组相机同时进行事物项目的摄影，并获取两张相同事物的不同角度图片。利用对于两张图片的处理，能够收获对于事物的三维立体信息的精确获取，从而实现模仿人类双眼的事物判断。因此数据信息的处理来源需要依赖图像处理技术来完成。而在技术发展当中，FPGA图像处理软件拥有技术优势，同时也是项目当中便于获取和使用的技术类型。项目选用国内知名科技企业赛灵思所生产的FPGA芯片，构建了图像软件处理系统。赛灵思芯片采用16nm支撑，其内部逻辑单元可达1.2M，同时集成了100G以太网模块，达到了蓟高速的处理计算性能。同时与前代FPGA芯片相比，该芯片产品功耗降低达到60%，符合巨量、高速的信息处理需求[2]。

（二）图像滤波降噪处理

双目识别视觉系统所获取的双目相机图像，往往存在一定的噪声信号，这些信号的存在对于图像深度三维分析和信息获取的影响十分巨大，因此在图像系统当中项目希望借助FPGA系统的开发，来完成降噪处理，提升图像显示细节。在赛灵思FPGA的系统开发当中，项目通过利用滤波和锐化策略，来实现图像噪声的去除。FPGA在滤波降噪处理当中，一般通过中值滤波方式，开展图像处理。中值滤波的主要作用除了表现在图像原本噪声的去除方面，同时对扫描噪声的去除也具有优势。在实用当中可以借助窗口选取的方式，将滤波器与窗口变化之间相互控制，从而实现噪声去除。

结论：综上所述，双目识别视觉系统通过双目相机方式，实现对于人眼事物观察的模拟。视觉系统的建立可以提高对于事物观察的立体性和距离感，从而增强视觉系统的准确度。FPGA技术是双目相机图像获取当中的处理技术，FPGA要求通过滤波、锐化等策略，完成对于图像噪声的去除。

参考文献：

[1]宋锦博.除草机器人路标识别多模式匹配算法研究——面向中英文混合环境[J].农机化研究,2019(07):217-221.

[2]高菲,贾涛.基于DSP+FPGA线性结构的计算机图像处理系统设计研究[J].电子设计工程,2018,26(17):189-193.