一种基于AR眼镜的手势识别系统的构建

一种基于AR眼镜的手势识别系统的构建

李绍英1, 张浩澜2, 欧羿妤3, 黄建泽4, 江琳华5, 孙汉成6 

浙大宁波理工学院  浙江宁波  315100

摘要：随着计算机技术、人工智能技术的发展，手势是人与机器、人与人进行信息传递的桥梁。本文提出了一种应用于AR眼镜的手势识别系统，应用于听障人士与正常人的交流，从而无障碍构建社会与聋哑人的沟通桥梁，提高聋哑人的生活质量，本课题的研究具有很强的实用性。

关键词：AR眼镜；手势识别；

1引言

据统计，我国听障人士（简称聋哑人）超3000万人，约占中国总人口的2.5%，其中6-14岁学龄儿童高达179万多人。全世界范围内共有4.5亿多聋哑人，约占世界总人口数的5%。由于该人群无法与正常人直接进行语言交流，他们处在社会的边缘，很难真正融入社会。随着科技的飞速发展和人们生活水平的不断提高，科技人员不断尝试为正常人提供与聋哑人交流的工具。本文的主要目的在于制作一种手语识别系统，利用AR眼镜技术，对聋哑人手语进行分析和识别，转化为普通人可识别的信息，同时将正常人的语音信息转化为听障人可识别的文本，实现听障人士与正常人的交流。

2产品介绍

2.1产品简介

本产品是一种基于AR眼镜的手语识别系统。系统使用AR眼镜（如图2.1所示）的前置摄像头，实时捕捉听障人士的手势动作，识别出其手势的含义；使用其内置麦克风，采集正常人的语音并识别为文字信息。本产品对聋哑人手语有效识别正确率为99.5%（如图2.2所示）。眼镜前侧有微型投屏镜，可将识别结果投在此处。团队所研发的手势识别系统的APK可内置于手机中。（如图2.3所示）

2.2产品实现的主要功能

（1）识别分析聋哑人手势

（2）将分析结果呈现于AR眼镜镜片处，并有对此动作。

（3）具有智能语音包，经过骨传导，将手语意思以语音的形式进行翻译。

3 产品的设计与制作

本系统采集和分析多种环境下的聋哑人手势动作变化并进行识别，借助已有的手势数据库与语音数据库，建立手势与语音库中的对应关系，完成手势识别，且到语音的自动转换，实现语音输出。最终得到一款针对聋哑人的手语识别交互系统。

3.1手势数据采集

团队调研了宁波市特殊教育学校等懂手语的老师，严筛手语数据，并经过手语老师的审查和校对，把手势动作放入标准化手势数据库里，提高手势识别的正确率。

3.2手势库与语音库的构建

（1）手势图像库的构建 ：采集手势图像数据，将资源导入手势库，使用适当的分类器对于手势图像进行特征分类，与计算机实时采集的手势动作处理后的图像相匹配，转为二维矩阵的二进制代码。

（2）语音库的构建 ：采集百度语音数据库，将资源导入语音库，与交互平台的语音系统端口连接，运行时与计算机识别的结果进行匹配。

3.3手势捕捉与识别

（1）AR眼镜前置摄像头标定 ：实时采集人的手势动作，确定手势各关节点的三维几何位置与其在图像中对应点的关系，使用合适的摄像头标定算法，获取手势图片。

（2）手势图片的分割与特征提取 ：对手势图片进行特征提取，在提取过程中需减除背景，采用基于肤色分割算法并对已有的手势识别算法进行改进，利用合适的算法对手势图片进行二值化处理，使手势图片转化为包含完整信息又突出手势信息的单一图片。

（3）手势轮廓提取与跟踪：利用水平集算法等，对手势图片进行图像分割，采用适当的模型对手势动作的轮廓进行提取和跟踪。

（4）手势动作的识别 ：依据步骤三获取的手势轮廓及其图像特征，采用适当的分类器，与系统中已有的手势库的标准手势进行匹配，大大提高识别率。

3.4 手势识别系统的设计

本系统主要包含五个模块：（1）用户模块：保存用户信息，实现用户的注册登录；（2）手势识别模块：实现该手语翻译；（3）语音识别模块：正常人的说话识别为文字，帮助聋哑人交流；（3）检索模块：帮助用户实时查询汉语对应的手语表达，快速学习手语；（4）系统更新维护模块：主要实现手语数据库、语音数据库等的维护。

3.5手势识别系统的实现

本系统是基于计算机视觉和深度学习、手势动态运动捕捉等技术，通过使用百度语音和TensorFlow Lite进行了软件开发。百度语音将语音唤醒和语音识别相结合，提高交流效率。TensorFlow Lite在识别过程中，进行数据比对，将手势的可信度展示在UI的界面上，方便用户获取信息。

用户戴上AR眼镜，系统自动申请权限，用户同意全部权限，开始使用软件，进行手势识别、语音唤醒及语音识别。将手势完整放在摄像头中央，识别的结果会显示在眼镜的微型投屏器上，当识别的结果达到1时，手势识别为最佳。识别结果受到光线、环境等的影响。在使用语音识别和语音唤醒时，应远离嘈杂的环境，避免识别失败。

4 总结

产品的运用和推广，使聋哑人与正常人更便捷、有效地沟通交流，让聋哑人接受更多的教育和学习，拓宽聋哑人就业领域等。产品可应用于教学、日常生活、军事指挥等方面。例如在日常生活中，亲友们佩戴

本产品，了解听障孩子的需求，无障碍地与他们沟通交流；可应用于游戏，提高玩家的交互性；也可用于战场指挥等一些不方便发声的场景，通过安静的手势传达出命令。

参考文献：

[1]赵雅，李建军.基于时空特征的动态手势识别方法研究[J]，电子设计工程.2022,30（04）

[2]丛玉华，何啸，等.基于计算机视觉手势识别的人机交互技术研究[J]，兵器装备工程学报.2022,43（01）

[3]雷恒，王晓艳.基于深度学习的机械手势识别研究[J]，中国设备工程.2021,(20)

[4] 李尊尊，胡琦瑶，孙培壮，等.基于手势识别的人机交互算法研究[J].信息与电脑(理论版)，2019（16）：31-34.

[5] 胡德勇.基于数据手套的动态手势识别研究[D].大连:大连海事大学，2020.[3]

2022年浙大宁波理工学院大学生国创课题

作者简介：李绍英（1977-），女（汉族），江西萍乡人，讲师，主要研究方向：人工智能、大数据分析等

张浩澜（1976-），男（汉族），副教授，硕导，主要研究方向：人工智能、深度学习等