毫米波雷达在空调上实现手势识别的实验研究

毫米波雷达在空调上实现手势识别的实验研究

张姝赟 * 黄绍敏 李伟娜

宁波奥克斯电气股份有限公司 浙江省宁波市 315191

摘要：随着空调在家家户户普遍使用，人们对空调的智能需求也越来越高。本论文提出一种基于24GHZ的毫米波雷达的实验研究，以此验证在空调上的可行性。

本文采用雷达系统为2发4收装置，利用该硬件系统，它可以在线性调频模式下和多普勒模式下分别采集数据，再经过Matlab仿真，构造出了基于24GHZ雷达的距离-时间图(Range-Time-Map, RTM)、多普勒-时间图(Doppler-Time-Map, DTM)。此后，对采集的样本进行分类，采用卷积神经网络（CNN）加循环神经网络(RNN)和CTC算法来分别进行样本的训练和测试，本文具体所采用的用于分类和识别的网络框架模型是Resnet18+Lstm+ctc，最终实现对整个手势动作的自动特征提取与识别，验证该系统及算法的可行性和有效性。

关键词：雷达；线性调频；距离多普勒 CNN；RNN；Resnet18；Lstm；CTC；空调

1 引言

传统空调利用遥控器进行功能操控，界面不断更新，操作便捷度降低。但基于视觉图像的手势识别易受到环境制约；基于毫米波却能弥补两者缺陷，不受光线影响，安全保密性更高。本文研究内容分两部分：硬件平台和算法研究。

硬件平台：研究采用2发4收雷达系统，多根天线对回波信号进行接收，相比单输入输出雷达来说，目标检测更具辨识性。

算法研究：利用2维快速傅里叶变换估计手势目标距离、多普勒参数，形成时频图和RD图，最后通过卷积神经网络训练及CTC算法实现分类，达到手势识别的目的。

2 硬件平台

2.1 FMCW雷达硬件组成 ADF5901双通道发送器与频率合成器配合使用，ADF4159用于生成FMCW发送信号，两个TX天线来自ADF5901发送器，前端接收路径经ADF5904实现四通道接收，ADAR7251模拟前端用于放大和采样测量接收器的IF信号， DSP处理后，结果通过USB 2.0或CAN接口访问。

2.2 FMCW雷达工作原理

雷达内部信号源产高频信号，经发射天线，以电磁波形式向外辐射,若传播方向上存在目标物，会产生电磁波反射，接收天线收到回波信号，将其转化为电信号，后端设备进行后续信号处理^[1]。本文采用三角波调制,FMCW模式下，可测量静止目标的距离。如图1所示：

图1 目标静止时三角波调频雷达工作原理图

T：发射信号调制周期， ：带宽， ：信号在上升沿时经信号混频后在正向调频上产生的差频信号频率， ：信号在下降沿时经混频后在负向调频段上产生的差频信号频率。

(1)

：时间延迟, ：光速, ：目标距离。混频输出中频信号 频率根据三角关系，可得：

（2）

此时 = = ，由（1）（2）可得：

（3）

当目标相对于雷达运动时，产生多普勒频移 ，如图2所示：

图2 目标运动时三角波调频雷达工作原理图

其中：

（4）

：多普勒频移, ：雷达中心发射频率, ：目标与雷达连线与目标在运动方向之间角度。默认 ，得：

v/c （5）

其中：

- （6）

+ （7）

为目标相对静止时产生的中频频率， 为多普勒频移。两式相加可得：

（8）

再由（8）（3）可得：

（9）

将（6）减（7）可得：

（10）

将（10）代入（5）可得：

V= (11)

3 数据采集与分析

3.1 FMCW雷达模式

本文采用时频分析方法^[2]，对被测信号进行A/D变换，利用DSP进行FFT，最终在matlab仿真。如图3所示：

图3地方固定后前后挥手仿真图

因线性调频模式相干积累时间比较长，时间太短影响效果，故采集数据为1000帧。上图为人蹲在离雷达约9米，进行前后挥手，与仿真图结果一致。由于受环境限制，有很多杂波不能避免，需继续优化。

3.2 距离多普勒雷达模式

距离多普勒算法是对时域相关算法演变，作为一种广泛使用算法^[3]。Matlab仿真时，选通道1为观察通道，雷达采集6种手势数据，生成各个手势的RD图。如图4为出前后挥手的RD图：

图4 前后挥手RD图

手势动作多普勒频率和能量都随着距离的变化而变化。在动作发生阶段，多普勒频率迅速增大，随后手臂远离雷达时，产生负多普勒频率。

4 数据处理

采用CNN+RNN+CTC算法，对RD图进行数据的自动特征提取与识别，本文采用网络框架模型为Resnet18+Lstm+ctc。

4.1 卷积神经网络

卷积神经网络包括输入层、隐含层和输出层，隐含层分三部分：卷积层、池化层和全连接层。输入层读取图像中的信息。卷积层为得到全局信息，对图像中的每一个特征进行局部感知，然后把局部特征进行综合操作。池化层对输入的特征图进行压缩，提取主要特征。池化层中拥有关于类别区分性的一些局部信息，连接所有特征，最终输出给分类器。全连接层实现对卷积层的整合。输出层采用逻辑函数或归一化指数函数来实现分类标签的输出。

4.2 循环神经网络

RNN为循环神经网络，与序列当前输出和前输出密切相关。包括输入层，隐藏层，输出层组成。隐藏层有一个数据循环，能实现时间记忆功能。本文采用LSTM算法。

4.3 CTC分类算法

CTC是对时序进行的分类算法，特征有3点：（1）条件独立，（2）单调对齐，（3）多对一映射。将采集的六种手势动作样本输入分类器，关于每个动作输入56个样本，采用CTC算法实现分类，得到准确率为96.4％，如图5所示。

1、右左挥手 2、前后挥手 3、前后推拉 4、画对勾 5、画圆圈 6、画三角

图5手势动作的分类识别率

5 结束语

本文利用毫米波雷达硬件系统，在线性调频和距离多普勒雷达模式下分别对数据进行采集，然后通过Resnet18+Lstm+ctc的算法验证了应用在空调上的可行性，对智能空调器的开发提供了重要的指导意义。

参考文献：

[1]刘熠辰,徐丰.基于雷达技术的手势识别[J].中国电子科学研究院学报,2016,11(6):609-613.

[2] 刘康宁．基于时频分析的雷达信号调制方式识别技术研究［D］．西安：西安电子科技大学，2014．

[3] 尹曼, 皮亦鸣. 结合 Chirp Z 变换的聚束 SAR 极坐标格式成像算法. 雷达科学与技术. 2007, Vol.5(5):349-370.

[4] 吴俊. 多基地SAR成像方法研究[D].电子科技大学,2016.

[5] 王俊,郑彤,雷鹏,张原,樵明朗.基于卷积神经网络的手势动作雷达识别方法[J].北京航空航天大学学报,2018,44(06):1117-1123.

作者简介：张姝赟（1994-09-05），女，汉族，籍贯：安徽黄山，毕业于武汉大学电子信息学院，硕士，现任宁波奥克斯电气股份有限公司研发中心技术研发一职，从事空调电控软件设计工作。

2 / 2