基于ROS的智能机器人可视化自主交互系统设计

基于ROS的智能机器人可视化自主交互系统设计

王来兵

滁州职业技术学院  安徽滁州  239000

摘要：随着工业机器人技术的发展，智能机器人正逐步走入人们的生活，然而对智能机器人进行可视化自主交互，其感知与决策仍依赖于人类的介入，缺乏智能化和人性化。因此，本文设计了一种基于 ROS的智能机器人可视化自主交互系统。首先，设计了机器人可视化自主交互系统总体架构；其次，对视觉定位算法进行改进并进行算法仿真验证；最后，在 ROS中搭建智能机器人平台，基于开源软件Mega2560对视觉定位算法进行开发并实现了视觉定位功能。实验结果表明，本文设计的可视化自主交互系统能够实现智能机器人的自主导航、目标识别、行为决策与控制等功能，为智能机器人的交互与控制提供了新的技术途径。

关键词：ROS；智能机器人；可视化；自主交互

一、引言

机器人技术是人工智能技术在工业领域的典型应用，其可在工业生产的各个环节中发挥重要作用，因此对机器人的研究是实现智能制造的基础。智能机器人技术具有多学科交叉、高技术密集、多目标高精度和强智能等特点，因此其发展对推动科学技术进步、促进经济社会发展具有重要作用。智能机器人研究的核心问题是机器人的感知与决策，其目标是在未知环境中进行自主导航、目标识别、行为决策与控制等任务。基于视觉的机器人定位技术[1]是一种最早用于智能机器人定位的方法，该方法主要利用图像处理技术，在图像中提取目标特征点，然后通过一定的算法和公式计算出机器人相对于参考位置的位姿信息。随着计算机技术的发展，基于激光雷达的定位技术[2]得到了广泛应用，该方法通过在机器人上安装激光雷达来获取周围环境信息，然后采用基于图像处理的方法进行机器人定位。随着视觉信息处理技术和人工智能技术的快速发展，基于视觉的机器人定位技术逐渐得到研究人员的重视。基于视觉的机器人定位技术主要有双目视觉和单目视觉两种。

二、系统总体架构

本系统采用 ROS作为移动机器人平台，其为一种基于 Python和C++混合编程的开源移动机器人操作系统，能够提供高效、稳定、跨平台的系统开发环境，为智能机器人的设计和开发提供了极大的便利。本系统主要分为三个部分：视觉定位算法实现部分、机器人控制系统实现部分和可视化交互界面实现部分。其中，视觉定位算法实现部分主要是通过视觉传感器获取图像信息，利用视觉传感器提取图像特征并进行图像处理后得到目标物体的坐标信息，然后将这些信息通过 ROS中的 RSSI算法进行定位。机器人控制系统实现部分是根据机器人硬件系统来控制机器人的运行，主要包括电机驱动、机械臂控制、视觉定位算法和摄像头通信等。最后，将机器人的操作指令发送给可视化交互界面实现部分，让用户通过触摸屏对智能机器人进行操控[3]。

三、视觉定位算法的改进与仿真验证

目前，在机器人视觉定位领域，主要采用两种算法来解决机器人定位问题：一种是基于 Kinect深度相机的双目视觉定位，另一种是基于单目摄像头的视觉定位。Kinect深度相机作为一种通用型相机，具有高分辨率、可采集深度信息等优点，在机器人视觉定位领域具有很好的应用前景。由于 Kinect深度相机在不同光照条件下具有不同的成像特性，因此采用 Kinect深度相机作为机器人视觉定位的传感器是一种有效的方法。但 Kinect深度相机只能获取目标的深度信息，并不能获取目标的姿态信息，因此，本文结合视觉定位算法对 Kinect深度相机进行改进，以获得更精确的视觉定位结果[4]。

四、视觉定位系统的实现

系统基于开源软件Mega2560实现了机器人视觉定位。系统中，智能机器人可以根据采集到的图像信息计算机器人与目标之间的距离和角度。在算法中，首先需要获取图像信息，然后将图像信息与距离和角度进行匹配，并用 Matlab中的 fsgPacket函数将匹配结果转化为点坐标，最后利用 MATLAB中的 cursor函数将点坐标转换为三维空间的坐标值。在Mega2560软件中，通过调用开源软件Mega2560实现了视觉定位功能。系统对目标和图像信息进行采集后，通过对图像信息与机器人坐标的匹配过程计算出目标所在位置以及机器人与目标之间的距离和角度，并通过 MATLAB中的 fsgPacket函数进行转换[5]。

五、可视化自主交互平台搭建

本系统基于 ROS （robot operation system）平台，搭建了一个可视化自主交互系统，实现智能机器人的自主导航、目标识别、行为决策与控制等功能。在 ROS中搭建可视化自主交互系统需要以下步骤：1)创建 ROS机器人平台，配置 ROS机器人平台环境参数；2)在 ROS机器人平台上搭建基于视觉的机器人控制器；3)在 ROS中利用Mega2560图形处理单元，将Mega2560的数据转换为 YUV格式；4)利用 ROS机器人控制器对Mega2560的数据进行处理，将其转换为 YUV格式的视频流；5)在 ROS中实现基于Mega2560的视觉定位算法，并在移动机器人上实现目标识别、行为决策与控制等功能。

六、实验结果与分析

在 ROS中搭建智能机器人平台，并在搭建好的机器人平台上完成上述设计，最后利用 OpenCV软件对本文设计的算法进行仿真验证。其中，机器人平台的硬件组成：移动平台上搭载着摄像头、激光雷达和电机控制器等设备；机器人平台的软件系统组成：由 ROS操作系统和Mega2560视觉处理库构成。

机器人通过视觉定位算法在地图上对移动平台进行定位，并根据所获取的定位信息判断移动平台当前位置是否在地图中。如果在地图中，则移动平台开始对目标物体进行追踪；如果不在地图中，则移动平台停止追踪。此外，机器人可以根据视觉定位信息来确定自身姿态。本文采用开源软件Mega2560对视觉定位算法进行开发，实现了对移动平台的定位、目标识别与追踪、行为决策与控制等功能，并在机器人平台上进行了测试，实验结果表明，本文设计的视觉定位算法具有良好的鲁棒性。

七、结束语

本文针对智能机器人交互中存在的问题，设计了一种基于 ROS的机器人可视化自主交互系统，并通过实验验证了系统的可行性。本文设计的系统利用视觉定位算法实现智能机器人在未知环境中的导航和定位，同时采用基于 ROS的系统软件框架，实现了机器人平台、目标识别、行为决策与控制等功能。通过实验证明，本文设计的可视化自主交互系统能够实现智能机器人在未知环境中的自主导航、目标识别、行为决策与控制等功能。

参考文献

[1]梁利嘉.基于单目视觉的机器人定位技术研究[D].燕山大学[2024-01-16].DOI:CNKI:CDMD:2.1014.041548.

[2]黄忠睿,兰晓玉,周健,等.轮式机器人的室内多融合精准定位技术[J].电子世界, 2021(17):4.

[3]王增喜,张庆余,张苏林,等.基于ROS系统的人脸识别算法研究[J].黑龙江科技信息, 2021, 000(001):67-68.

[4]魏雄.基于ORB特征匹配的视觉SLAM研究[D]. 2019.

[5]李蔚东,谢再晋,李敏.基于多传感器融合的扫地机器人算法研究[J].  2021.DOI:10.14022/j.issn1674-6236.2021.02.026.

作者简介：王来兵副教授   男   汉   1980.09   安徽芜湖
本科    软件工程  计算机网络技术、人工智能应用、数学建模、高等教育研究 
1、安徽省重点科研项目，编号：2023AH053091，
项目名称：基于ROS的机器人智能语音交互系统设计与研究
2、安徽省职成教重点项目，项目编号：Azcj2022043，
项目名称：后疫情时代高职社会扩招专业 “四维一体、五阶段”人才培养模式探索——以计算机应用技术专业为例
3、安徽省重大科研项目，编号：2023AH040388，
项目名称：数字化产品设计的感性图谱构建及系统化研究
4、安徽省一般教学研究项目，编号：2022jyxm1141，
项目名称：基于教育信息化背景下智慧课堂的研究