一种基于隐私保护的服药审核及肝损伤预警系统及方法与流程

本发明涉及疾病管理，更具体的说是涉及一种基于隐私保护的服药审核及肝损伤预警系统及方法。

背景技术：

1、肺结核作为一种全球性的健康挑战，不仅因其慢性和传染性的特点而备受关注，而且其在全球范围内的传播也构成了重大的公共卫生议题。为了应对这一挑战，采取了以dots(directly observed treatment,short-course)为核心的公共卫生服务模式。这种模式主要依赖患者前往社区健康中心或专业机构接受治疗，辅以医务人员的上门服务和电话随访。虽然这一模式在初期取得了一定成效，但随着时间的推移，其局限性逐渐显现，如dots的实际执行率低、患者服药不规律、药物不良反应监测不及时等，这些都影响了治愈率并可能导致耐药性的产生。

2、为了解决这些问题，远程视频督导服药(video-observed therapy,vot)逐渐被引入作为肺结核患者管理的新模式。vot通过视频技术监督患者服药，减轻了医护人员的工作负担，并提高了管理效率。然而，人力资源的短缺和审核服药视频的不及时性仍然是影响vot效果的关键因素。

3、人工智能技术的快速发展为vot模式的改进提供了新的可能性。利用ai技术进行智能化的视频审核，可以实现更高效、更准确的服药管理。此外，ai技术在识别抗结核药物引起的肝损伤(anti-tuberculosis drug-induced liver injury,atli)方面也显示出巨大潜力。通过分析患者的面部图像，ai可以帮助及时发现药物性肝损伤的迹象，从而为临床医生提供决策支持，降低严重atli的风险。同样，在实施vot管理模式时，患者个人隐私保护问题不容忽视。患者的面部图像和拍摄环境等敏感信息的采集和存储可能引发隐私泄露的风险。

4、因此，如何提出一种基于隐私保护的服药审核及肝损伤预警系统及方法，在确保患者健康管理的同时保护个人隐私，实现既能用于健康管理又能保护患者隐私的方案，满足vot管理模式的长期可持续发展是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此，本发明提供了一种基于隐私保护的服药审核及肝损伤预警系统及方法，在确保患者健康管理的同时保护个人隐私，实现既能用于健康管理又能保护患者隐私的方案，满足vot管理模式的长期可持续发展，为了实现上述目的，本发明采用如下技术方案：

2、一种基于隐私保护的服药审核及肝损伤预警系统，包括：依次连接的视频上传模块、面部隐私保护模块、智能服药审核模块和药物性肝损伤预警模块；

3、所述视频上传模块用于接收患者拍摄的视频；

4、所述面部隐私保护模块用于通过面部隐私保护算法对视频中的人脸覆盖面具；

5、所述智能服药审核模块用于通过智能审核模型对人脸覆盖面具后的视频进行分析，自动识别并审核服药动作和药物信息；

6、所述药物性肝损伤预警模块用于利用图像处理技术和机器学习算法分析视频中患者巩膜颜色的差异变化，对药物性肝损伤进行预警。

7、可选的，还包括：用户身份验证模块，所述用户身份验证模块用于对视频上传模块接收的视频进行身份验证，通过集成的人脸识别算法，识别并匹配患者的人脸信息，确保视频是由患者本人上传。

8、可选的，还包括：视频加密与存储模块，所述视频加密与存储模块用于在视频验证上传成功后，采用sm4加密算法对视频进行加密处理；存放在视频加密与存储模块中的视频数据存放半年后自动删除。

9、可选的，所述通过智能审核模型对人脸覆盖面具后的视频进行分析包括：

10、构建基于目标检测网络yolov8的药品检测模型，通过药品检测模型得到药品检测结果；

11、通过卷积神经网络构建服药动作识别模型，通过服药动作识别模型得到服药动作识别结果；

12、耦合判断药品检测结果和服药动作识别结果，当检测到药品且识别出完整的服药动作时，患者的服药视频才会被审核确认为有效服药。

13、可选的，所述通过卷积神经网络构建服药动作识别模型，通过服药动作识别模型得到服药动作识别结果包括：

14、视频帧采样模块：用于采用稀疏采样方法，将视频均匀分组，并在每组中随机采集一帧构成视频帧序列；

15、图像特征提取模块：用于将得到的视频帧序列通过图像特征提取模块进行处理，提取图像特征；

16、骨架特征提取模块：用于将视频帧序列经过人体关键点检测模块，获取人体骨架特征；

17、特征融合模块：用于将图像特征和骨架特征通过特征融合模块进行融合，形成用于分类的特征；

18、分类模块：用于将融合后的特征通过分类头进行处理，得到服药动作识别的结果。

19、可选的，所述特征融合模块包括：将图像特征fimage和骨架特征fpose分别经过一个全连接层和非线性激活的组合，得到维度相同的特征f'image和f'pose：

20、fimage＝σ(fimagewimage+bimage)；

21、fpose＝σ(fposewpose+bpose)；

22、其中σ为非线性激活函数，wpose和wimage分别为线性层的权重，bpose和bimage分别为线性层的偏差；

23、然后将f'image和f'pose经过加权相加得到融合特征ffuse；

24、ffuse＝αposef'pose+αimagef'image；

25、αpose和αimage分别为加权融合的权重系数，其中，

26、αimage＝softmax(f'posew+b)；

27、αpose＝softmax(f'imagew+b)；

28、其中，w为线性层的权重，b为线性层的偏差。

29、可选的，所述骨架特征提取模块包括：

30、从视频帧中提取2d关键点人体骨架序列，将其输入到骨架特征提取模块中之前，将其重新表述为3d热图；

31、根据关键点坐标，使用高斯核生成，每帧生成k×h×w的热图；

32、将t帧的堆叠得到整个序列的3d热图，维度为k×t×h×w，其中k为骨骼点的数量，t为帧数，h和w分别为高和宽；

33、3d热图经过骨架特征提取模块得到骨架特征。

34、可选的，所述对药物性肝损伤进行预警包括：

35、校色模块：用于采用动态阈值白平衡方法对图像进行校色处理；

36、巩膜roi提取模块：用于将经过校色的图像进行巩膜roi提取，采用mediapipe中的face landmarks检测得到脸部关键点；

37、预警模块：用于将患者上传的视频与在数据库中搜寻到的上一次上传视频进行结果比对，根据比对结果进行预警。

38、可选的，所述预警模块包括：

39、对于患者上传的视频，在数据库中搜寻到上一次上传视频；

40、经过校色、帧采样和巩膜roi提取后，分两个路径，其一获得差值图像，经过卷积神经网络进行特征提取，得到图像差异特征；其二，获得rgb、hsv、lab三个颜色空间差值，归一化后，作为特征与上述图像差异特征融合，再经过分类头得到预警结果，设定阈值，网络输出score大于设定阈值则表示巩膜颜色变化大，进行反馈。

41、可选的，一种基于隐私保护的服药审核及肝损伤预警方法，包括：

42、接收患者拍摄的视频；

43、通过面部隐私保护算法对视频中的人脸覆盖面具；

44、通过智能审核模型对人脸覆盖面具后的视频进行分析，自动识别并审核服药动作和药物信息；

45、利用图像处理技术和机器学习算法分析视频中患者巩膜颜色的差异变化，对药物性肝损伤进行预警。

46、经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于隐私保护的服药审核及肝损伤预警系统及方法，具有如下有益效果：

47、本发明提出了一种基于隐私保护的服药审核及肝损伤预警系统，包括：依次连接的视频上传模块、面部隐私保护模块、智能服药审核模块和药物性肝损伤预警模块；所述视频上传模块用于接收患者拍摄的视频；所述面部隐私保护模块用于通过面部隐私保护算法对视频中的人脸覆盖面具；所述智能服药审核模块用于通过智能审核模型对人脸覆盖面具后的视频进行分析，自动识别并审核服药动作和药物信息；所述药物性肝损伤预警模块用于利用图像处理技术和机器学习算法分析视频中患者巩膜颜色的差异变化，对药物性肝损伤进行预警。本发明基于vot远程管理系统，添加智能服药审核、隐私保护、药物性肝损伤预警。通过自动化的审核流程，大幅提高工作效率，减少人力资源的消耗。采用先进的加密技术和隐私保护措施，确保患者信息的安全。利用深度学习技术提高服药审核和肝损伤预警的准确性。患者可以随时随地上传服药视频，医疗人员也能及时获取和处理信息。系统能够及时发现潜在的健康风险，为患者提供更好的健康管理。