脑电数据与行为数据同步方法、装置、系统及存储介质

本申请属于神经科学研究领域，尤其涉及一种脑电数据与行为数据同步方法、装置、系统及存储介质。

背景技术：

1、在对于人体的行为研究分析中，脑电数据采集和行为数据是两项至关重要的技术。脑电数据(eeg，electroencephalography)反映了大脑在活动时产生的生物电信号，这些信号包含了丰富的信息，如情绪、认知状态、注意力水平等。同时，行为数据则记录了人的实际动作、反应时间、眼球运动等，为理解人的心理与行为之间的关系提供了重要依据。

2、目前，脑电数据和行为数据主要是通过脑电采集设备和视频记录设备来进行采集，现有的脑电和视频采集系统主要通过单目二维摄像设备与脑电采集设备进行低精度的同步采集。然而，1.传统脑电采集设备与视频采集设备之间难以实现高精度的同步，导致在对行为数据分析过程中出现时序不对齐的问题；2.现有的脑电和视频采集系统通常只配备单一或少量摄像头，无法全面覆盖被试者的活动空间，导致视频信息的缺失；3.且现有的脑电和视频采集系统多用于静态或限制性条件下的数据采集，难以应对受试者在自然状态下的自由活动。

3、因此，针对受试者在自然状态下的脑电数据和行为数据的同步问题亟待解决。

技术实现思路

1、本申请提供了一种脑电数据与行为数据同步方法、装置、系统及存储介质，旨在解决现有方法中受试者在自然状态下脑电数据与行为数据无法精确同步等问题。

2、为解决上述技术问题，第一方面，本申请提供了一种脑电数据与行为数据同步方法，所述方法包括：

3、第二方面，本申请提供了一种脑电数据与行为数据处理装置，所述装置包括：

4、发送模块，用于响应于开始指令，同时向多个摄像设备及脑电采集设备发送采集信号并周期性地发送触发信号；还用于当满足设定条件或响应于结束指令，同时向多个摄像设备及脑电采集设备发送结束信号；

5、获取模块，用于获取受试者的多个视频数据及脑电数据；

6、重建模块，用于对获取的所述多个视频数据进行三维重建，以获取所述受试者的行为数据；

7、同步模块，用于基于记录的所述触发信号序列对所述行为数据与所述脑电数据进行同步处理。

8、第三方面，本申请提供了一种脑电数据与行为数据处理系统，所述系统包括摄像单元、脑电采集设备、同步单元以及上位机；

9、所述摄像单元，包括多个摄像头，用于采集受试者的多个视频数据；

10、所述脑电采集单元，用于采集所述受试者的脑电数据；

11、所述上位机，用于响应于开始指令，同时向所述多个摄像头及所述脑电采集设备发送采集信号并周期性地发送触发信号，以获取受试者的多个视频数据及脑电数据；并对获取的所述多个视频数据进行三维重建，以获取所述受试者的行为数据；以及当满足设定条件或响应于结束指令，同时向所述多个摄像头及所述脑电采集设备发送结束信号；并基于记录的所述触发信号序列对所述行为数据与所述脑电数据进行同步处理；

12、所述同步单元，用于接收所述触发信号，并将所述触发信号同步发送至所述脑电采集设备及所述多个摄像头。

13、第四方面，本申请提供了一种电子设备，所述包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的脑电数据与行为数据同步方法。

14、第五方面，一种存储介质，其上存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行，以实现如上所述的脑电数据与行为数据同步方法。

15、第六方面，一种计算机程序产品，计算机程序产品包括计算机可读指令，计算机可读指令存储在存储介质中，电子设备的一个或多个处理器从存储介质读取计算机可读指令，加载并执行该计算机可读指令，使得电子设备实现如上所述的脑电数据与行为数据同步方法。

16、与现有技术相比，本申请的脑电数据与行为数据同步方法能够采集人体在自然行为下的脑电信号和视频的同步采集和记录，提高了数据的生态有效性和应用场景的广泛性。

1.一种脑电数据与行为数据同步方法，其特征在于，用于通过多个摄像设备及脑电采集设备采集受试者的多个视频数据及脑电数据，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，响应于开始指令，同时向多个摄像设备及脑电采集设备发送采集信号并周期性地发送触发信号直至采集结束，以获取受试者的多个视频数据及脑电数据；包括：

3.根据权利要求1所述的方法，其特征在于，所述周期性地发送触发信号，包括每当所述摄像设备采集设定帧数发送一次触发信号。

4.根据权利要求1所述的方法，其特征在于，所述基于记录的所述触发信号序列对所述行为数据与所述脑电数据进行同步处理，包括：

5.根据权利要求2所述的方法，其特征在于，所述对获取的所述多个视频数据进行三维重建，以获取受试者的行为数据，包括：

6.一种脑电数据与行为数据处理装置，其特征在于，所述装置包括：

7.一种脑电数据与行为数据处理系统，其特征在于，所述系统包括摄像单元、脑电采集设备、同步单元以及上位机；

8.根据权利要求7所述的系统，其特征在于，所述脑电采集单元包括脑电帽及信号放大器，所述脑电采集单元与所述同步单元无线连接。

9.根据权利要求7所述的系统，其特征在于，所述摄像单元包括至少八个沿周向环绕所述受试者设置的摄像头。

10.一种存储介质，其特征在于，所述存储介质上存储有计算机可读指令，计算机可读指令被一个或多个处理器执行，以实现如权利要求1至5任一项所述的脑电数据与行为数据同步方法。