一种基于脑肌电融合的上肢动作力敏状态识别方法及系统

本发明涉及脑肌电信号分类任务领域，尤其是指一种基于脑肌电融合的上肢动作力敏状态识别方法及系统。

背景技术：

1、脑机接口技术实现了大脑与上肢外部设备之间的直接连接，通过脑电信号的实时控制，用户可以执行如抓取物体等一系列操作，为那些由于神经损伤或其他神经系统疾病而导致上肢功能受限的人们恢复或改善他们的运动能力。通过该技术，可以帮助截肢者通过脑电信号直接控制他们的智能假肢，还可以控制其他上肢辅助装置，如智能外骨骼等，从而在一定程度上恢复他们的日常生活功能。脑电图是实现脑机接口技术的主要手段，它以其高时效性、操作简便和成本效益高等优点，成为控制系统的首选方法，但脑机接口系统尚存在一些局限，过分依赖于单一的脑电信号，使得系统的稳定性受到影响，例如，用户肢体动作的力敏状态的变化都可能导致控制信号的质量改变。

2、随着相关领域特别是神经科学和生物工程近年来的快速发展，脑机接口技术的应用范围和潜力正在不断扩大，如今脑机接口技术不仅可以将脑电信号转换为控制信号，还可以通过信息融合技术整合脑电信号与其他生物电信号,例如肌电信号、心率等,以此来增强系统的准确性和稳定性，这些进步为脑机接口技术的未来应用提供了新的方向和希望。其中，表面肌电信号是通过在皮肤表面放置电极来记录肌肉活动产生的电信号的一种技术，这种方法可以非侵入式地监测和分析肌肉的电活动，广泛用于医疗诊断、运动科学、康复工程以及人机接口等领域。

3、脑肌电信息融合是一个先进的科研领域，它结合了来自大脑和肌肉的电生理信号，以提供更全面的神经肌肉活动信息，脑肌电信息融合技术试图通过整合这两种信号来克服单一信号源的局限性，提升数据的综合解释能力，因此，结合脑电和肌电信号，充分提取脑肌电信号中的特征，对开发高效的脑机接口系统变得尤为重要。

4、而现有技术虽然能够判断大脑是否有移动上肢意图并做出反应，却难以区分上肢不同运动模式下的力敏状态，这限制了对外部设备的精细操控能力。

技术实现思路

1、为此，本发明所要解决的技术问题在于克服现有技术中虽然能够判断大脑是否有移动上肢意图，却对上肢不同运动模式下的力敏状态识别有限，限制了对外部设备的精细操控能力的问题。

2、为解决上述技术问题，本发明提供了一种基于脑肌电融合的上肢动作力敏状态识别方法，包括以下步骤：

3、一种基于脑肌电融合的上肢动作力敏状态识别方法，包括以下步骤：获取不同上肢动作力敏状态下的原始脑电信号与原始肌电信号，并记录对应力敏状态数据，构建数据集，将数据集划分为训练集与测试集；

4、对原始脑电信号与原始肌电信号进行预处理，得到预处理后的脑电信号与肌电信号；

5、对预处理后的脑电信号进行重采样，基于预处理后的肌电信号与重采样脑电信号，计算预处理后的肌电信号与重采样脑电信号之间的互信息与相似度，将预处理后的肌电信号与重采样脑电信号之间的互信息与相似度拼接组成脑肌信息；

6、构建脑肌电力敏状态识别模型，所述脑肌电力敏状态识别模型包括：三分支特征提取模块与识别模块；

7、将预处理后的肌电信号、预处理后的脑电信号与脑肌信息输入所述三分支特征提取模块，利用所述三分支特征提取模块提取肌电特征、脑电特征与脑肌特征；

8、将肌电特征、脑电特征与脑肌特征输入所述识别模块，得到上肢动作力敏状态所属类别，包括：

9、把肌电特征、脑电特征与脑肌特征均展平为一维特征向量，将肌电特征、脑电特征与脑肌特征对应的一维特征向量进行特征拼接，得到整体特征；

10、将整体特征输入依次连接的两个串联的全连接层与softmax层，对上肢动作力敏状态进行分类，得到上肢动作力敏状态所属类别；

11、将训练集的预处理后的肌电信号、预处理后的脑电信号与脑肌信息输入至脑肌电力敏状态识别模型，得到每个训练任务中上肢动作力敏状态类别的概率，训练时使用交叉熵损失函数最小化分类结果与真实标签之间的差异，并使用adam优化器优化交叉熵损失函数并更新学习率；

12、在测试集上使用分类准确率对所述脑肌电力敏状态识别模型进行性能评估。

13、优选地，原始脑电信号进行预处理，得到预处理后的脑电信号，包括：对原始脑电信号进行0.5hz的高通滤波处理、滤除50hz工频干扰与去除基线干扰后，提取上肢动作力敏状态对应信号段，对每个通道的数据进行归一化处理，得到预处理后的脑电信号。

14、优选地，对原始肌电信号进行预处理，得到预处理后的肌电信号，包括：对原始肌电信号进行高通滤波处理，保留20hz频段以上的信号，提取上肢动作力敏状态对应信号段，得到预处理后的肌电信号。

15、优选地，计算预处理后的肌电信号与重采样脑电信号之间的互信息与相似度，具体为：

16、计算预处理后的肌电信号与重采样脑电信号之间的互信息、皮尔森相关系数、欧氏距离、曼哈顿距离和余弦相似度，得到预处理后的肌电信号与重采样脑电信号之间的互信息、皮尔森相关系数、欧氏距离、曼哈顿距离与余弦相似度。

17、优选地，将预处理后的肌电信号输入所述三分支特征提取模块，利用所述三分支特征提取模块提取肌电特征，包括：

18、将预处理后的肌电信号输入2d卷积模块中，对预处理后的肌电信号提取特征，得到全局通道特征；

19、将预处理后的肌电信号分为四组，每组包含两个相邻的通道，将四组肌电信号分别输入2d卷积模块，提取各组肌电信号的时间信息以及空间信息，得到四组局部通道特征；

20、将四组局部通道特征与全局通道特征拼接融合，得到肌电特征。

21、优选地，将脑肌信息输入所述三分支特征提取模块，利用所述三分支特征提取模块提取脑肌特征，包括：

22、将脑肌信息输入2d卷积模块，对脑肌信息提取特征，得到脑肌特征。

23、优选地，将预处理后的脑电信号输入所述三分支特征提取模块，利用所述三分支特征提取模块提取脑电特征，包括：

24、预处理后的脑电信号依次通过2d卷积模块与批归一化层，提取脑电信号的时间信息，将提取到的脑电信号的时间信息依次通过深度可分离卷积模块、激活函数层与批归一化层，得到脑电信号的时间信息与空间信息融合特征。

25、优选地，所述交叉熵损失函数的计算公式为：

26、

27、其中，h表示样本数量，c表示上肢动作力敏状态类别数量；

28、若分类结果与真实标签相同，则fhc为1，否则为0；

29、phc表示第h个样本属于第c个上肢动作力敏状态类别的概率。

30、本发明还提供一种基于脑肌电融合的上肢动作力敏状态识别系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述一种基于脑肌电融合的上肢动作力敏状态识别方法的步骤。

31、本发明的上述技术方案相比现有技术具有以下有益效果：

32、本发明所述的一种基于脑肌电融合的上肢动作力敏状态识别方法及系统，通过对预处理后的脑电信号进行重采样，计算重采样脑电信号与预处理后的肌电信号各个通道的互信息与相似度，将计算得到的互信息与相似度拼接组成脑肌信息，基于预处理后的肌电信号、预处理后的脑电信号与脑肌信息，分别提取肌电特征、脑电特征与脑肌特征，将肌电特征、脑电特征与脑肌特征均展平为一维特征向量，将肌电特征、脑电特征与脑肌特征对应的一维特征向量进行特征拼接，得到整体特征，整体特征输入依次连接的两个串联的全连接层与softmax层，得到上肢动作力敏状态所属类别，通过设计的三分支网络结构对脑电信息、肌电信息、脑肌信息进行充分的特征提取并融合来对上肢动作力敏状态进行分类，有效地提高了上肢动作力敏状态识别的准确率和稳定性。