一种基于雷达多维特征的手势和身份联合识别方法

本发明属于物联网应用和无线检测，具体涉及一种基于雷达多维特征的手势和身份联合识别方法。

背景技术：

1、雷达技术是一种利用电磁波来探测未知目标空间位置等信息的技术。雷达通过发射天线发射信号波形，信号波在接触到目标后将会发生反射，从而由反射天线接收目标对象的反射信号，以此来捕获包含目标空间位置、速度、角度等信息的原始信号。雷达具有频率高、波长短、精度高等特性和不受光线影响，日夜均可使用，对恶劣天气(雨雾雪)及烟尘的抗干扰性强等优点，广泛应用于智能家居、车辆控制、人体感知等领域。

2、手势识别属于人体行为感知技术中的一种。手势识别技术即利用特定设备或手段实现对人体的手部动作进行判定，其中基于携带式传感器的主动式识别技术具有抗环境干扰、成本低、对用户动作变化反应敏感的优点。此类技术大多采用可穿戴装置或采用智能手机，这两者都需要被测人员携带指定传感器以获取其相应的手部运动信息。相对于基于携带式传感器的方案，基于非携带设备的被动式感知方式在使用上更加便捷，具有更普遍的应用场景。因此基于非携带设备的被动式识别技术具有更广泛的应用前景。比如基于摄像头的手势识别技术通过使用摄像头捕捉手部动作的图像序列并对其进行预处理，包括例如背景消除、图像滤波和手部区域检测等一系列操作，随后利用机器学习或深度学习的方法进行特征提取和分类，此外还有一些无线感知设备也被用于手势识别任务中，比如wifi、红外传感器、雷达系统等。

3、针对身份识别任务，通常使用摄像头捕获的视频数据或图像信息，对人脸进行识别以实现身份认证。

4、现有技术缺点如下：

5、缺点1：可穿戴式传感器虽能精确捕捉手部运动轨迹来识别具体的手势，但是无法实现无感的检测和识别，会给使用者带来不适感，不符合智能家居中对于舒适性的要求，并且这些设备大多需要安装电池，无法实现长时间的检测。

6、缺点2：基于摄像头的无线感知技术虽然已经发展地非常成熟，但是容易造成隐私泄露问题，与当今人们重视隐私的理念相悖，并且无法识别受到遮挡的目标，在室内环境中无法充分发挥作用。wifi和红外传感器虽然避免了上述问题，但是它们容易受到wifi信号强度与环境温度变化的影响，稳定性无法得到保障，难以满足商用化和实际应用的要求。

7、缺点3：在实际的人机交互场景中，本发明考虑的是设备控制和身份确认联合实现的方案，尽管通过摄像头采集的人脸图片或视频能够提供身份信息，但是它不适合作为控制设备时发送指令的身体部位。

技术实现思路

1、本发明的目的在于克服现有技术缺点，并结合雷达所具有的非接触、不易受光照条件影响、高精度等优点，提供一种基于雷达多维特征的手势和身份联合识别方法，以解决携带式传感器、摄像头和wifi等无线感知设备进行手势和身份联合识别时所存在的问题。

2、为实现上述目的，本发明的技术方案是：一种基于雷达多维特征的手势和身份联合识别方法，包括：

3、通过雷达采集设备使用者对应手势动作的雷达原始数据，并通过一系列预处理操作生成对应手部动作的距离-时间矩阵、多普勒-时间矩阵和角度-时间矩阵；

4、应用特征图增强算法对距离-时间矩阵和角度-时间矩阵进行信息增强处理；

5、设计一个三输入-两输出的网络用于三种矩阵生成的三种特征图，并进行深层次的特征映射，经由两个分类头分别输出手势和身份的识别结果。

6、在本发明一实施例中，该方法包括如下步骤：

7、步骤1、采集关于使用者手势的雷达原始数据，并将数据传输至pc上位机进行adc采样和预处理操作；

8、步骤2、对数据进行背景杂波滤除，并在距离维、速度维、角度维上分别做fft并向对应维度投影以生成对应的距离-时间矩阵、多普勒-时间矩阵和角度-时间矩阵，并可视化为对应的特征图，即距离-时间图rtm、多普勒-时间图dtm和角度-时间图atm；

9、步骤3、对距离-时间矩阵和角度-时间矩阵进行信息增强处理；

10、步骤4、设计一个用于多流信息输入和多任务识别的三输入-两输出的网络；

11、步骤5、利用三输入-两输出的网络对特征图进行多次迭代训练，以学得用于分类的有效信息，并在最后分别输出手势和身份的识别结果。

12、在本发明一实施例中，步骤1具体实现如下：

13、fmcw雷达采用线性调频连续波作为发射信号，即调制信号的频率随着时间呈线性变化，发射信号表示成：

14、

15、其中，at是发射信号幅值，为初始相位，f0为信号发射时的初始频率，b表示扫频带宽，tc表示一个chirp信号的扫频周期；

16、在雷达发射的信号到达人体的手部后，再形成回波信号传回接收天线；假设这个过程经历时间τ，那么，经过手部反射得到的回波信号表示成：

17、

18、其中，ar是接收信号幅值；

19、随后，将发射信号与回波信号进行混频，得到中频信号，中频信号表示为：

20、

21、其中，aif是中频信号幅值，j是虚数单位；

22、对中频信号进行adc采样得到对应的数字信号，并根据收发天线顺序将数字信号重整为samples_num×chirps_num×antennas_num格式的三维数据矩阵，即原始的radarcube，称为r。

23、在本发明一实施例中，步骤2中，对数据进行背景杂波滤除，并在距离维、速度维、角度维上分别做fft并向对应维度投影以生成对应的距离-时间矩阵、多普勒-时间矩阵和角度-时间矩阵的具体实现方式如下：

24、使用平均相消算法滤除r中的杂波，得到三维矩阵称为r1；分别利用rtm、dtm和atm来呈现手部运动时距离、速度和到达角随时间的变化；从r1中构建原始特征矩阵的过程如下：

25、在r1的距离维度上添加布莱克曼窗以减少频谱泄露，并执行nr点的fft，得到手部目标的距离信息，整个过程表示为：

26、

27、rr＝fftrange(r′,nr)

28、其中，wb()表示布莱克曼窗，rr表示经过1d-fft后的目标矩阵；

29、将目标矩阵rr在天线维上取平均，并向速度维投影得到一帧中的距离信息，将每帧数据沿时间维度叠加得到距离-时间矩阵i表示帧数；

30、对目标矩阵rr在速度维上添加汉明窗以抑制旁瓣，并执行nd点的fft，得到手部目标的速度信息，整个过程表示为：

31、

32、rr,d＝fftdoppler(r″,nd)

33、其中，wh()表示汉明窗，rr,d表示经过2d-fft后的目标矩阵；

34、将rr,d在天线维上取平均，并向距离维投影得到一帧中的速度信息，通过逐帧累积每帧中的速度信息得到多普勒-时间矩阵

35、对目标矩阵rr,d在角度维上执行na点的fft，得到手部运动的角度信息：

36、rr,d,a＝fftangle(rr,d,na)

37、其中，rr,d,a表示经过3d-fft后的目标矩阵；将rr,d,a在距离维上求平均，并向多普勒维投影得到一帧中的角度信息，将每帧数据沿时间维度叠加得到角度-时间矩阵

38、在本发明一实施例中，步骤3中，采用rtm信息增强方法、atm信息增强方法分别对距离-时间图rtm和角度-时间图atm进行信息增强处理。

39、在本发明一实施例中，采用rtm信息增强方法对距离-时间矩阵进行信息增强处理的具体实现方式如下：

40、设计目标信息提取器，对距离-时间矩阵使用2dcfar算法，以寻找其中所有可能存在的手部目标点，将所有检测到的目标点对应的距离值取平均得到dges，dges代表手在摆动过程中相对于雷达方向的整个摆动范围的中心点对应的距离值，因此手部目标点基本分布在dges附近；目标信息提取器的关键步骤是引入目标提取窗口，dges将被设置为窗口中线对应的距离值，ds则是所有实验对象在做手势时相对雷达方向的手部最大移动距离值的一半，沿着中线上下增减ds从而形成一个窗口，由此设计出一个能够自动定位手部目标信息的提取器；

41、对目标信息进行突出化操作，对经提取器得到的新数据矩阵使用样条插值技术，将其放大到与原始距离-时间矩阵相同的大小，获得随后，对mr”进行高斯滤波和逐帧归一化的操作，得到最终的目标矩阵

42、在本发明一实施例中，采用atm信息增强方法分别对角度-时间矩阵进行信息增强处理的具体实现方式如下：

43、在原始atm中，手部的目标信息点集中在某个角度值附近波动，将该角度值视为执行手势时整个动作范围的中心角度；找到这个中心角度在图中的对应角度值αges，首先搜索每帧中的幅值最大点，并将它们的对应角度取平均得到αges；接下来，使用目标信息提取器对手部目标信息进行提取，目标信息提取器中包含一个目标信息提取窗口，将αges设置为窗口中线对应的角度值，针对不同位置设计对应大小的自适应目标信息提取窗口，将得到的手部运动过程中与雷达的最近距离dges认为是手部所处位置，结合手部沿中心角度水平向左的单侧移动距离dh，利用弧长公式估计出单侧偏移的最大角度αs：

44、

45、沿着中线上下增减αs从而形成一个窗口，在不同距离和任意角度位置的原始角度-时间矩阵中得到自适应目标信息提取窗口大小；在形成能够对目标信息进行自动定位的自适应目标信息提取窗口之后，将截取得到的新矩阵使用样条插值放大到原始角度-时间矩阵的大小，再依次执行高斯滤波和逐帧归一化的操作以突出目标信息，得到最终的目标矩阵

46、在本发明一实施例中，步骤4具体实现如下：

47、设计一个名为ms-stc的三输入-双输出的网络，包含三个输入分支，分别用于处理rtm、dtm和atm三种特征图，其中每个分支都被设计为不同的网络模块，经过处理后的特征张量yr,yd,ya将分别乘以不同的权重w1,w2,w3，权重是一组可学习的参数，会在网络训练迭代的过程中不断更新，且带有不同权重系数的yr,yd,ya将在通道维度上被拼接成融合特征cb；整个过程如下式所示：

48、

49、其中表示哈达玛乘积；

50、将cb依次经过批归一化和多层感知机mlp操作来降低过拟合的风险和更好地融合特征参数，最终的识别由两个分类头实现，分别是手势分类头和身份分类头，它们由不同的线性层组成；

51、对于处理rtm分支的网络模块，采用sepconvlstm作为该分支的特征提取模块；

52、对于处理dtm分支的网络模块，选取基于滑动窗口的transformer模块用于处理dtm；

53、对于处理atm分支的网络模块，采用基于cbam注意力机制的cnn模块。

54、本发明还提供了一种基于雷达多维特征的手势和身份联合识别系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上述所述的方法步骤。

55、本发明还提供了一种计算机可读存储介质，其上存储有能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上述所述的方法步骤。

56、相较于现有技术，本发明具有以下有益效果：

57、本发明采用了雷达作为识别任务的传感器，无需用户携带额外的设备，且相对于基于摄像头的识别方案，具有隐私保护性好、距离分辨率及测量精度高且不惧遮挡等技术优势。

58、此外，本发明提出的方法综合使用了雷达所具有的多维特征，其中包括距离、速度和角度特征，并提出了一种创新性的特征增强方法用于改善特征图中信息不够突出的问题。针对不同特征图的特点，本发明还设计了一种专门用于多特征输入的网络结构以提高识别效果，最终经过特征融合后经过两个分类头输出对应的手势和身份的识别结果。

59、不同手势所映射出来的特征各不相同，利用这些差异可以实现手势识别。此外，根据不同人体目标之间的手势习惯差异，又可扩展应用于身份识别等研究当中。由此可见，基于多特征的手势和身份识别研究具有重要的实际意义。在目前鲜少有相关将手势信息与身份信息联合研究的形势下，提出将一种特殊神经网络应用于手势和身份联合识别当中，从而解决了用户手势与身份信息难以实现联合识别的难题。