基于联合注意力的非接触式心率变异性检测方法及系统

本发明涉及非接触式心率变异性检测领域，具体涉及一种基于联合注意力的非接触式心率变异性检测方法、系统、存储介质和电子设备。

背景技术：

1、心率变异性（heart rate variability, 简称hrv）是对自主神经系统的一种度量，被广泛认为是身体健康和确定身体准备就绪的最佳客观指标之一。

2、非接触式心率变异性检测技术主要是基于远程光电容积描记信号进行的，通过分析预先获取的rppg信号相关指标，从而得到非接触式心率变异性检测结果。现有的心率变异性检测方法是基于信号处理的方法（如ica、chrom等）进行的，此类方法是基于一定的假设或者模型所提出的，聚焦于特定场景中，针对噪声特征进行rppg信号的去噪，从而提高心率变异性提取精度。同时现有的非接触式心率变异性检测方法主要考虑的是rppg信号的整体趋势的拟合，且主要提取的是avnn，sdnn等时域指标。

3、然而在现实场景中，rppg信号中涉及的噪声复杂程度远超过预设情况，现有的非接触式心率变异性检测方法的检测模型简单、泛化性差，容易缺乏对重要信息的关注，导致心率变异性提取精度差；另外，rppg信号中的波峰恢复位置及波峰间隔等属性，在计算心率变异性指标时具有关键影响，现有rppg信号提取技术仅考虑rppg信号整体趋势拟合会导致心率变异性检测结果偏离真实值。除此之外，现有深度学习方法中的受到注意力模块的限制，注意力模块专注于空间方面的特征提取，在通道、时间方面的专注度较少，缺乏时间信息和通道信息之间的完整性。此外，相比于avnn，sdnn等时域指标，lf、hf、lf/hf等频域指标及sd1，sd2等非线性指标在特定场景中更具有重要价值，现有rppg信号提取技术在提取心率变异性时仅考虑时域指标，非接触式心率变异性指标检测不全面。

技术实现思路

1、（一）解决的技术问题

2、针对现有技术的不足，本发明提供了一种基于联合注意力的非接触式心率变异性检测方法、系统、存储介质和电子设备，解决了现有非接触式心率变异性提取误差较大的技术问题。

3、（二）技术方案

4、为实现以上目的，本发明通过以下技术方案予以实现：

5、一种基于联合注意力的非接触式心率变异性检测方法，基于时间-通道-空间联合注意力机制的监测网络，所述监测网络包括时间通道联合注意力层、时间空间联合注意力层、通道洗牌层以及u-net网络；所述非接触式心率变异性检测方法包括：

6、获取被测试者的面部视频；

7、对于所述面部视频检测面部并定位关键感兴趣区域，从每一所述关键感兴趣区域中分割出皮肤区域，并将所述皮肤区域的rgb颜色值转换到ycbcr颜色空间；

8、将每一转换后的皮肤分割图像作为所述监测网络的输入，依次通过所述时间通道联合注意力层、时间空间联合注意力层，获取相应的注意力权重矩阵并进行残差连接；将所述时间空间联合注意力层输出的特征图，通过所述通道洗牌层进行通道信息融合，以最终获取一维的短时rppg信号；

9、将每一所述短时rppg信号进行时序拼接，获取长时rppg信号，并将所述长时rppg信号作为u-net网络的输入，获取最终的rppg信号；

10、基于所述rppg信号，提取所述被测试者的非接触式心率变异性特征。

11、优选的，所述监测网络由第一卷积层、若干组联合注意力层和通道洗牌层、全局平均池化层、第二卷积层以及u-net网络组成；其中所述联合注意力层依次包括时间通道联合注意力层、第三卷积层以及时间空间联合注意力层。

12、优选的，所述时间通道联合注意力层包括空间平均层、卷积层、批标准化层以及整流线性单元激活层；通过所述时间通道联合注意力层，获取相应的注意力权重并进行残差连接，包括：

13、将输入的第一特征图，依次通过所述空间平均层、卷积层、批标准化层以及整流线性单元激活层，获取第一注意力权重矩阵；

14、将所述第一注意力权重矩阵与第一特征图进行残差连接相乘，获取第二特征图。

15、优选的，所述时间空间联合注意力层包括两个并行的分支以及通道权重拓展层，其中所述两个并行的分支包括第一分支和第二分支，所述第一分支包括全局平均层、卷积层、批标准化层以及整流线性单元激活层，第二分支包括通道平均层、卷积层、批标准化层以及整流线性单元激活层；通过所述时间空间联合注意力层，获取相应的注意力权重并进行残差连接，包括：

16、将输入的第三特征图，依次通过所述全局平均层、卷积层、批标准化层以及整流线性单元激活层，获取第三注意力权重矩阵，同时依次通过所述通道平均层、卷积层、批标准化层以及整流线性单元激活层，获取第四注意力权重矩阵；

17、将所述第三注意力权重矩阵和第四注意力权重矩阵相乘后，通过所述通道权重拓展层，获取第二注意力权重矩阵；

18、将所述第二注意力权重矩阵与第三特征图进行残差连接相乘，获取第四特征图。

19、优选的，任一所述通道洗牌层依次包括通道拓展层、通道转置层、通道平铺层、通道恢复层、卷积层以及整流线性单元；将所述时间空间联合注意力层输出的特征图，通过所述通道洗牌层进行通道信息融合，以最终获取一维的短时rppg信号，包括：

20、将所述第四特征图，依次通过所述通道拓展层、通道转置层、通道平铺层、通道恢复层、卷积层以及整流线性单元，获取第五特征图；

21、将最后一个通道洗牌层输出的第五特征图，依次通过所述全局平均池化层以及第二卷积层，获取一维的短时rppg信号。

22、优选的，所述监测网络在训练阶段的损失函数，构建过程如下：

23、（1）构建时域信号负皮尔逊相关损失：

24、

25、其中， n表示监测网络输出的rppg信号的长度，表示预先获取的金标准ppg信号的时域信号中的第 i个值，表示rppg信号的时域信号中的第 i个值；

26、（2）构建频域信号负皮尔逊相关系数损失：

27、

28、其中，表示金标准ppg信号的频域信号中的第 i个值，表示rppg信号的频域信号中的第 i个值；

29、（3）构建峰值损失：

30、

31、其中，表示金标准ppg信号中第 i个波峰的位置，表示前 n个波峰，表示后 n个波峰；表示rppg信号中第 i个波峰的位置，表示前 n个波峰，表示后 n个波峰； l代表不同波峰位置之间的时间间隔； α、β为相应的权重值；

32、（4）构建整体损失函数 l：

33、

34、其中， ω1 、ω2 、ω3分别为相应损失的权重值。

35、优选的，所述非接触式心率变异性特征包括时域特征、频域特征以及非线性特征；其中：

36、所述时域特征为avnn、sdnn、rmssd中一项或任几项的组合；

37、所述频域特征为hf、lf、lf/hf中一项或任几项的组合；

38、所述非线性特征为sd1、sd2中一项或任几项的组合。

39、一种基于联合注意力的非接触式心率变异性检测系统，基于时间-通道-空间联合注意力机制的监测网络，所述监测网络包括时间通道联合注意力层、时间空间联合注意力层、通道洗牌层以及u-net网络；所述心率变异性检测系统包括：

40、面部视频获取模块，用于获取被测试者的面部视频；

41、面部视频预处理模块，用于对于所述面部视频检测面部并定位关键感兴趣区域，从每一所述关键感兴趣区域中分割出皮肤区域，并将所述皮肤区域的rgb颜色值转换到ycbcr颜色空间；

42、rppg信号提取模块，用于将每一转换后的皮肤分割图像作为所述监测网络的输入，依次通过所述时间通道联合注意力层、时间空间联合注意力层，获取相应的注意力权重矩阵并进行残差连接；将所述时间空间联合注意力层输出的特征图，通过所述通道洗牌层进行通道信息融合，以最终获取一维的短时rppg信号；

43、以及将每一所述短时rppg信号进行时序拼接，获取长时rppg信号，并将所述长时rppg信号作为u-net网络的输入，获取最终的rppg信号；

44、非接触式心率变异性特征提取模块，用于基于所述rppg信号，提取所述被测试者的非接触式心率变异性特征。

45、一种存储介质，其存储有用于基于联合注意力的非接触式心率变异性检测的计算机程序，其中，所述计算机程序使得计算机执行如上所述的非接触式心率变异性检测方法。

46、一种电子设备，包括：

47、一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的非接触式心率变异性检测方法。

48、（三）有益效果

49、本发明提供了一种基于联合注意力的非接触式心率变异性检测方法、系统、存储介质和电子设备。与现有技术相比，具备以下有益效果：

50、本发明基于时间-通道-空间联合注意力机制的监测网络，所述监测网络包括时间通道联合注意力层、时间空间联合注意力层、通道洗牌层以及u-net网络。基于前述监测网络，以提取高质量、高信噪比的rppg信号，减少非接触式心率变异性提取误差，进而降低心率变异性的测量误差。此外，本发明还考虑了长时rppg信号，以提取非接触式心率变异性特征，增强了监测的准确性和稳定性。