一种基于病毒性肺炎风险评估预测系统

本发明涉及病毒性肺炎风险评估预测，尤其涉及一种基于病毒性肺炎风险评估预测系统。

背景技术：

1、传统的基于病毒性肺炎风险评估预测系统，缺乏病灶区域聚焦，模型敏感性不足，忽略时间动态信息，预测能力受限。缺乏病灶区域聚焦，模型敏感性不足的体现：早期的病毒性肺炎风险评估主要依赖于医生对影像数据的视觉评估，或者使用一些简单的图像处理技术提取特征。这些方法往往直接将原始影像数据输入模型，没有对病灶区域进行有效的定位和特征提取，大量的正常组织区域信息会干扰模型对病灶区域的识别。由于缺乏对病灶区域的聚焦，传统模型对病灶区域的敏感性不足，容易遗漏细微的病灶变化，导致风险评估的准确性下降。忽略时间动态信息，预测能力受限的体现：传统的风险评估模型大多只关注患者的静态信息，例如单一时间点的影像数据、临床指标等，忽略了患者病情随时间变化的动态发展过程，这导致传统模型的构建过程存在局限性。

技术实现思路

1、基于此，有必要提供一种基于病毒性肺炎风险评估预测系统，以解决至少一个上述技术问题。

2、为实现上述目的，一种病毒性肺炎风险评估预测系统，包括：

3、控制电路；

4、多模态数据表征模块，与所述控制电路电性连接，所述多模态数据表征模块包括：ct扫描仪、医院信息设备与图像处理组件，所述多模态数据表征模块用于对病毒性肺炎目标患者进行病毒性肺炎原始数据采集，得到原始目标患者数据，其中原始目标患者数据包括ct影像数据以及原始临床数据；对ct影像数据进行肺部区域分割，得到肺部掩膜图像；获取未标注肺部ct图像；利用未标注肺部ct图像进行病灶区域预测，得到初始病灶区域预测图；对初始病灶区域预测图进行病灶区域标注，得到病灶标注图像；对病灶标注图像进行影像特征提取，得到影像特征向量；根据影像特征向量进行多模态特征矩阵构建，得到多模态特征矩阵；

5、病灶注意力学习模块，与所述控制电路电性连接，所述病灶注意力学习模块包括：深度学习服务器、影像处理工作组件与数据存储器，所述病灶注意力学习模块用于根据多模态特征矩阵以及肺部掩膜图像进行注意力热力图生成并进行热力图归一化，得到归一化热力图；根据归一化热力图、ct影像数据以及影像特征向量进行病灶增强特征矩阵构建，得到病灶增强特征矩阵；

6、时空特征融合模块，与所述控制电路电性连接，所述时空特征融合模块包括：transformer编码器，所述时空特征融合模块用于对多模态特征矩阵以及病灶增强特征矩阵进行特征向量拼接，得到患者特征序列；根据患者特征序列以及预设的transformer编码器进行时空融合特征多层处理，得到时空融合特征向量；

7、风险预测建模模块，与所述控制电路电性连接，所述风险预测建模模块用于利用预定义的风险评估标准数据对病毒性肺炎目标患者进行风险等级标注，得到风险等级标签；根据风险等级标签以及时空融合特征向量进行病毒性肺炎风险预测模型构建，得到病毒性肺炎风险预测模型；

8、可解释性分析模块，与所述控制电路电性连接，所述可解释性分析模块包括：显示器与绘图库，所述可解释性分析模块用于利用病毒性肺炎风险预测模型对病毒性肺炎目标患者进行风险等级预测，得到风险等级预测数据；根据风险等级预测数据进行关键特征识别，得到关键特征数据；对关键特征数据进行特征贡献度计算，得到特征贡献度向量；根据特征贡献度向量以及关键特征数据进行风险因素分析并进行风险评估报告生成，得到风险评估报告。

9、本发明通过采集患者的ct影像和临床数据，并进行肺部区域分割、病灶区域预测和标注，以及影像特征提取，可以获取到患者多模态数据中蕴含的关键信息，为后续构建全面、准确的风险评估预测模型奠定数据基础。通过生成注意力热力图，并利用其对ct影像进行病灶区域增强，可以突出模型关注的病灶区域，提高模型对病灶信息的敏感度和提取能力，从而构建更精准的病灶增强特征矩阵。通过对多模态特征矩阵和病灶增强特征矩阵进行时间对齐、特征拼接、位置编码，并利用transformer编码器进行时空融合特征提取，可以有效地整合患者的时序信息和多模态特征，捕捉患者病情发展的时间动态特征，生成更全面、更精准的时空融合特征向量。利用预定义的风险评估标准数据对患者进行风险等级标注，并将标注信息与时空融合特征向量结合，训练病毒性肺炎风险预测模型，可以使模型学习到不同特征与风险等级之间的关联关系，并最终得到一个性能良好的预测模型。利用训练好的模型对新患者进行风险等级预测，并结合特征重要性分析、局部解释模型和可视化技术，生成内容丰富、解释性强的风险评估报告，可以帮助医生更全面、直观地了解患者的风险等级、关键风险因素以及病情发展趋势，为临床决策提供有效支持，提高风险评估预测的精准性和有效性。因此，本发明提供了一种基于病毒性肺炎风险评估预测系统。为解决传统的基于病毒性肺炎风险评估预测系统缺乏病灶区域聚焦，模型敏感性不足，忽略时间动态信息，预测能力受限问题。通过肺部区域分割、病灶区域预测与标注，以及注意力热力图引导的病灶增强等步骤，有效地将模型的注意力集中在关键的病灶区域，避免了无关信息的干扰，并提取了更有效的病灶特征，从而提高了模型的敏感性和风险评估的准确性。通过时间对齐、时间窗口划分以及transformer编码器进行时空特征融合等步骤，有效地捕捉了患者病情随时间变化的动态发展过程，从而更准确地预测患者未来的病情发展趋势，例如病灶的吸收情况、是否会出现并发症等，提高了模型的预测能力。

10、优选地，所述的多模态数据表征模块用于执行以下步骤：

11、步骤s11：对病毒性肺炎目标患者进行病毒性肺炎原始数据采集，得到原始目标患者数据，其中原始目标患者数据包括ct影像数据以及原始临床数据；

12、步骤s12：对ct影像数据进行影像数据预处理，得到影像预处理数据；对影像预处理数据进行肺部区域分割，得到肺部掩膜图像；

13、步骤s13：获取未标注肺部ct图像；利用未标注肺部ct图像进行病灶区域预测，得到初始病灶区域预测图；对初始病灶区域预测图进行病灶区域标注，得到病灶标注图像；

14、步骤s14：对病灶标注图像进行影像特征提取，得到影像特征向量；

15、步骤s15：对原始临床数据进行临床数据清洗，得到患者临床数据；对患者临床数据进行时间序列构建，得到临床时间序列；对临床时间序列进行临床特征提取，得到临床特征向量；

16、步骤s16：对临床特征向量以及影像特征向量进行特征向量组合，得到患者特征向量；根据患者特征向量进行多模态特征矩阵构建，得到多模态特征矩阵。

17、本发明通过从医院信息系统中获取病毒性肺炎目标患者的ct影像数据和原始临床数据，为后续构建风险评估预测模型提供必要的数据基础。对ct影像数据进行预处理，可以提高图像质量，减少噪声等因素对后续肺部区域分割的影响，从而提高分割精度，为后续病灶区域预测提供更准确的肺部区域信息。利用未标注肺部ct图像进行病灶区域预测和标注，可以有效利用现有资源，减少人工标注的工作量，同时提高病灶区域标注的效率和准确性，为后续影像特征提取提供更可靠的标注数据。对病灶标注图像进行影像特征提取，可以将原始图像数据转换为模型可处理的特征向量，提取病灶的关键信息，为后续构建多模态特征矩阵提供影像方面的特征表达。对原始临床数据进行清洗和时间序列构建，可以解决数据缺失、异常等问题，并捕捉患者临床指标随时间的变化趋势，提取更全面的临床信息，为后续构建多模态特征矩阵提供临床方面的特征表达。将临床特征向量和影像特征向量组合成患者特征向量，并构建多模态特征矩阵，可以有效融合患者的影像信息和临床信息，构建更全面的患者特征表达，为后续模型训练和风险评估提供更丰富的信息。

18、优选地，步骤s13包括以下步骤：

19、步骤s131：获取未标注肺部ct图像；利用未标注肺部ct图像对预训练的图像分割模型进行模型微调，得到图像分割模型；

20、步骤s132：利用图像分割模型对肺部掩膜图像进行病灶概率图生成，得到病灶概率图；

21、步骤s133：利用预设的概率图阈值对病灶概率图进行概率图阈值分割，得到初始病灶区域预测图；

22、步骤s134：对初始病灶区域预测图进行联通区域分析，得到病灶独立区域数据；根据病灶独立区域数据对初始病灶区域预测图进行病灶面积过滤，得到病灶区域预测图；

23、步骤s135：对病灶区域预测图进行医生标注修正，得到病灶标注图像。

24、本发明通过利用未标注的肺部ct图像对预训练的图像分割模型进行微调，可以使模型更好地适应目标数据集的特点，提高模型在病灶区域预测上的准确性和泛化能力。利用微调后的图像分割模型对肺部掩膜图像进行预测，生成病灶概率图，可以直观地展示每个像素属于病灶区域的可能性，为后续病灶区域的精确定位提供依据。利用预设的概率图阈值对病灶概率图进行分割，可以将概率信息转化为明确的病灶区域预测结果，初步确定病灶区域的范围，为后续处理提供基础。对初始病灶区域预测图进行联通区域分析和病灶面积过滤，可以消除孤立的噪声点以及面积过小或过大的区域，提高病灶区域预测的准确性和可靠性。医生对病灶区域预测图进行标注修正，可以结合专业知识对模型预测结果进行校正，进一步提高标注结果的准确性，为后续影像特征提取提供高质量的标注数据。

25、优选地，所述的病灶注意力学习模块用于执行以下步骤：

26、步骤s21：根据多模态特征矩阵以及肺部掩膜图像进行注意力热力图生成并进行热力图归一化，得到归一化热力图；

27、步骤s22：利用归一化热力图对ct影像数据进行病灶区域增强，得到增强ct图像；

28、步骤s23：对ct影像数据以及增强ct图像进行多尺度特征提取，得到多尺度特征图谱；对多尺度特征图谱进行特征金字塔池化，得到池化特征向量；

29、步骤s24：对影像特征向量以及池化特征向量进行病灶特征增强，得到病灶增强特征向量；

30、步骤s25：根据病灶增强特征向量进行病灶增强特征矩阵构建，得到病灶增强特征矩阵。

31、本发明通过根据多模态特征矩阵和肺部掩膜图像生成注意力热力图，并进行归一化，可以突出模型在进行风险预测时重点关注的病灶区域，为后续病灶区域增强提供指导，避免无关信息的干扰，提高模型的敏感性。利用归一化热力图对ct影像数据进行病灶区域增强，可以放大模型关注的病灶区域的特征，使其在后续特征提取过程中更加突出，从而提高模型对病灶信息的提取能力。对原始ct影像和增强ct图像进行多尺度特征提取和特征金字塔池化，可以捕捉不同尺度下的病灶信息，并融合多尺度特征，得到更全面的病灶特征表达，提高模型的鲁棒性。将影像特征向量与池化特征向量进行融合，得到病灶增强特征向量，可以整合不同来源的病灶信息，进一步增强病灶特征的表达能力，提高模型的预测准确性。根据病灶增强特征向量构建病灶增强特征矩阵，可以将每个时间点的病灶增强特征按时间顺序组织起来，为后续的时空融合特征提取提供更丰富、更精细的病灶信息。

32、优选地，步骤s21包括以下步骤：

33、步骤s211：根据多模态特征矩阵进行影像数据重建，得到重建影像数据；

34、步骤s212：将重建影像数据输入至预训练的3d卷积神经网络模型中，进行模型梯度计算，得到梯度图谱；

35、步骤s213：对梯度图谱进行全局平均池化，得到特征图谱权重值；根据特征图谱权重值进行特征图谱相乘求和计算并进行注意力热力图生成，得到注意力热力图；

36、步骤s214：利用肺部掩膜图像对注意力热力图进行热力图空间约束，得到约束热力图；

37、步骤s215：对约束热力图进行热力图归一化，得到归一化热力图。

38、本发明通过根据多模态特征矩阵重建影像数据，可以将抽象的特征信息转化为直观的图像信息，为后续利用预训练模型进行更精细化的分析提供基础。将重建影像数据输入预训练的3d卷积神经网络模型，并计算模型梯度，可以利用预训练模型强大的特征提取能力，捕捉到模型在进行预测时对不同区域的关注程度，为生成注意力热力图提供依据。对梯度图谱进行全局平均池化和特征图谱加权求和，可以生成注意力热力图，直观地展示模型在进行预测时重点关注的区域，为后续病灶区域增强提供更精准的指导。利用肺部掩膜图像对注意力热力图进行空间约束，可以排除肺部区域以外的干扰信息，使注意力热力图更专注于肺部区域，提高模型对病灶区域的敏感性。对约束热力图进行归一化处理，可以将热力值缩放到统一的范围，便于后续与原始图像进行融合，实现对病灶区域的精准增强。

39、优选地，所述的时空特征融合模块用于执行以下步骤：

40、步骤s31：根据原始临床数据中的采集时间数据对多模态特征矩阵以及病灶增强特征矩阵进行特征矩阵时间对齐，得到特征矩阵时间对齐数据；

41、步骤s32：对特征矩阵时间对齐数据进行特征矩阵时间窗口划分，得到时间切片数据；

42、步骤s33：根据时间切片数据对多模态特征矩阵以及病灶增强特征矩阵进行特征向量拼接，得到患者特征序列；

43、步骤s34：对患者特征序列进行位置编码添加，得到位置编码患者特征序列；

44、步骤s35：将位置编码患者特征序列输入至与预设的transformer编码器中，进行时空融合特征多层处理，得到时空融合特征向量。

45、本发明通过根据原始临床数据中的采集时间数据对多模态特征矩阵和病灶增强特征矩阵进行时间对齐，可以确保影像特征和临床特征在时间上的一致性，为后续分析患者病情变化趋势提供准确的时间基础。对时间对齐后的特征矩阵数据进行时间窗口划分，可以将连续的病情发展过程分割成多个时间段，便于模型分别学习每个时间段内的特征变化，更细致地捕捉病情发展规律。将每个时间切片内的多模态特征矩阵和病灶增强特征矩阵进行特征向量拼接，可以将同一时间点的影像信息和临床信息融合在一起，形成更全面的患者特征表达，为后续模型训练提供更丰富的信息。对患者特征序列添加位置编码信息，可以使模型学习到不同时间点之间的时序关系，例如病情发展阶段，从而更准确地预测患者未来的风险。将位置编码后的患者特征序列输入预设的transformer编码器，可以利用transformer模型强大的时空特征提取能力，捕捉患者病情发展的时间动态信息和特征之间的复杂交互关系，得到更具表达能力的时空融合特征向量。

46、优选地，步骤s35包括以下步骤：

47、步骤s351：将位置编码患者特征序列输入至预设的transformer编码器中，进行自注意力机制计算，得到时间步加权特征向量；对时间步加权特征向量进行加权平均处理，得到全局特征向量；

48、步骤s352：根据全局特征向量进行多头注意力机制融合，得到综合全局特征向量；

49、步骤s353：对综合全局特征向量进行前馈网络增强，得到前馈网络增强数据；

50、步骤s354：根据前馈网络增强数据进行时空融合特征向量输出，得到时空融合特征向量。

51、本发明通过将位置编码患者特征序列输入transformer编码器，并通过自注意力机制计算得到时间步加权特征向量，可以使模型关注到每个时间步在整个序列中的重要程度，并通过加权平均得到融合了所有时间步信息的全局特征向量，为后续的特征增强提供更全面的信息基础。使用多头注意力机制对全局特征向量进行融合，可以从多个角度捕捉特征之间的关系，提取更丰富、更全面的信息，进一步增强特征表达能力。对综合全局特征向量进行前馈网络增强，可以对特征进行非线性变换，提取更抽象、更高级的语义信息，进一步提升特征的表达能力和预测效果。将前馈网络增强后的数据作为最终的时空融合特征向量输出，该向量融合了患者所有时间步的影像和临床信息，并捕捉了病情发展的时间动态特征，为后续的风险预测提供更强大、更精准的特征表达。

52、优选地，所述的风险预测建模模块用于执行以下步骤：

53、步骤s41：利用预定义的风险评估标准数据对病毒性肺炎目标患者进行风险等级标注，得到风险等级标签；

54、步骤s42：对风险等级标签以及时空融合特征向量进行风险标签匹配，得到标签特征数据集；

55、步骤s43：利用标签特征数据集进行模型训练并进行超参数调整，得到初始风险预测模型；

56、步骤s44：对初始风险预测模型进行模型评估，得到病毒性肺炎风险预测模型。

57、本发明通过利用预定义的风险评估标准数据对病毒性肺炎目标患者进行风险等级标注，可以为模型训练提供明确的学习目标，使模型能够学习到不同特征与风险等级之间的关联关系，为构建准确可靠的风险预测模型奠定基础。将风险等级标签与时空融合特征向量进行匹配，构建标签特征数据集，可以将患者的特征信息与其对应的风险等级关联起来，为模型训练提供可供学习的数据样本。利用标签特征数据集进行模型训练并进行超参数调整，可以使模型从数据中学习到有效的特征组合和预测规则，并通过超参数调整优化模型的性能，得到一个初步的风险预测模型。对初始风险预测模型进行模型评估，可以客观地评价模型的预测性能，例如准确率、精确率、召回率等指标，并根据评估结果对模型进行进一步的优化和改进，最终得到一个性能良好的病毒性肺炎风险预测模型。

58、优选地，所述的可解释性分析模块用于执行以下步骤：

59、步骤s51：利用病毒性肺炎风险预测模型对病毒性肺炎目标患者进行风险等级预测，得到风险等级预测数据；

60、步骤s52：根据风险等级预测数据以及病毒性肺炎风险预测模型进行特征重要性排序，得到特征重要性列表；根据特征重要性列表进行关键特征识别，得到关键特征数据；

61、步骤s53：对病毒性肺炎目标患者进行局部解释模型构建，得到局部可解释模型；根据局部可解释模型对关键特征数据进行特征贡献度计算，得到特征贡献度向量；

62、步骤s54：根据特征贡献度向量以及关键特征数据进行风险因素分析并进行风险评估报告生成，得到风险评估报告。

63、本发明通过利用训练好的病毒性肺炎风险预测模型对目标患者进行风险等级预测，可以快速识别高风险患者，为医生提供预警信息，以便及时采取干预措施。根据风险等级预测数据和模型进行特征重要性排序和关键特征识别，可以帮助医生理解哪些因素对患者的风险等级影响较大。对目标患者构建局部可解释模型，并计算关键特征的贡献度，可以更直观地解释模型预测结果的原因，提高模型的可解释性和透明度。最后，根据特征贡献度向量以及关键特征数据进行风险因素分析并进行风险评估报告生成，得到风险评估报告。

64、优选地，步骤s54包括以下步骤：

65、步骤s541：对特征贡献度向量以及关键特征数据进行风险可视化解释生成，得到风险可视化解释数据；

66、步骤s542：根据特征贡献度向量以及关键特征数据进行风险因素分析，得到风险因素分析数据；

67、步骤s543：根据风险等级预测数据、风险可视化解释数据以及风险因素分析数据进行风险评估报告生成，得到风险评估报告。

68、本发明通过将特征贡献度和关键特征数据进行可视化展示，可以更清晰地呈现模型预测结果的依据，帮助医生更好地理解模型预测结果，并向患者解释病情。根据特征贡献度和关键特征数据进行风险因素分析，可以总结出导致患者高风险的关键因素。整合风险等级预测数据、可视化解释和风险因素分析，生成的风险评估报告。

69、本发明通过采集患者的ct影像和临床数据，并进行肺部区域分割、病灶区域预测和标注，以及影像特征提取，可以获取到患者多模态数据中蕴含的关键信息，为后续构建全面、准确的风险评估预测模型奠定数据基础。通过生成注意力热力图，并利用其对ct影像进行病灶区域增强，可以突出模型关注的病灶区域，提高模型对病灶信息的敏感度和提取能力，从而构建更精准的病灶增强特征矩阵。通过对多模态特征矩阵和病灶增强特征矩阵进行时间对齐、特征拼接、位置编码，并利用transformer编码器进行时空融合特征提取，可以有效地整合患者的时序信息和多模态特征，捕捉患者病情发展的时间动态特征，生成更全面、更精准的时空融合特征向量。利用预定义的风险评估标准数据对患者进行风险等级标注，并将标注信息与时空融合特征向量结合，训练病毒性肺炎风险预测模型，可以使模型学习到不同特征与风险等级之间的关联关系，并最终得到一个性能良好的预测模型。利用训练好的模型对新患者进行风险等级预测，并结合特征重要性分析、局部解释模型和可视化技术，生成内容丰富、解释性强的风险评估报告，可以帮助医生更全面、直观地了解患者的风险等级、关键风险因素以及病情发展趋势，为临床决策提供有效支持，提高风险评估预测的精准性和有效性。因此，本发明提供了一种基于病毒性肺炎风险评估预测系统。为解决传统的基于病毒性肺炎风险评估预测系统缺乏病灶区域聚焦，模型敏感性不足，忽略时间动态信息，预测能力受限问题。通过肺部区域分割、病灶区域预测与标注，以及注意力热力图引导的病灶增强等步骤，有效地将模型的注意力集中在关键的病灶区域，避免了无关信息的干扰，并提取了更有效的病灶特征，从而提高了模型的敏感性和风险评估的准确性。通过时间对齐、时间窗口划分以及transformer编码器进行时空特征融合等步骤，有效地捕捉了患者病情随时间变化的动态发展过程，从而更准确地预测患者未来的病情发展趋势，例如病灶的吸收情况、是否会出现并发症等，提高了模型的预测能力。