一种轻量级空间适配器增强的医学报告生成方法
技术特征:
1.一种轻量级空间适配器增强的医学报告生成方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的一种轻量级空间适配器增强的医学报告生成方法,其特征在于,步骤(1)所述的构建全局视觉编码器,用于提取医学图像的全局特征,具体如下:
3.根据权利要求1所述的一种轻量级空间适配器增强的医学报告生成方法,步骤(2)所述的基于全局视觉编码器构建空间适配器,利用空间适配器进行多轮迭代更新,以获取与报告生成最相关的视觉信息,其特征在于,空间适配器包括空间注入器,具体如下:
4.根据权利要求3所述的一种轻量级空间适配器增强的医学报告生成方法,其特征在于,空间适配器还包括特征提取器,具体如下:
5.根据权利要求4所述的一种轻量级空间适配器增强的医学报告生成方法,其特征在于,在全局视觉编码器和空间适配器之间的进行n轮交互后,将包含空间细节特征和包含全局相关特征的融合视觉特征输入到报告解码器中;经过归一化以产生最终的视觉特征表示fv,如公式(4)所示:
6.根据权利要求5所述的一种轻量级空间适配器增强的医学报告生成方法,其特征在于,步骤(3)具体如下:
7.根据权利要求6所述的一种轻量级空间适配器增强的医学报告生成方法,其特征在于,步骤(4)具体如下:
技术总结
本发明公开了一种轻量级空间适配器增强的医学报告生成方法。本发明步骤:1、全局视觉编码器提取全局空间特征。2、空间适配器:将来自卷积骨干网络的局部空间特征与来自视觉Transformer的全局特征通过空间适配器中的空间注入器和特征提取器进行多轮迭代更新,获取与报告生成最相关的视觉信息。3、构建跨媒体预训练:用于更好地对齐图像和文本模态。4、构建报告解码器,利用空间适配器输出的视觉特征,来生成医学图像诊断报告。本发明能够正确且有效地理解医学图像的内容,并准确地捕捉到图像中的异常区域,同时构建轻量级且高效的跨媒体医学报告生成框架,从而提升答案预测的准确性。且在更少的可训练参数量下,得到与现有方法相当甚至更好的结果。
技术研发人员:余婷,卢旺文,章轲,储华
受保护的技术使用者:杭州师范大学
技术研发日:
技术公布日:2024/11/28
文档序号 :
【 40163980 】
技术研发人员:余婷,卢旺文,章轲,储华
技术所有人:杭州师范大学
备 注:该技术已申请专利,仅供学习研究,如用于商业用途,请联系技术所有人。
声 明 :此信息收集于网络,如果你是此专利的发明人不想本网站收录此信息请联系我们,我们会在第一时间删除
技术研发人员:余婷,卢旺文,章轲,储华
技术所有人:杭州师范大学
备 注:该技术已申请专利,仅供学习研究,如用于商业用途,请联系技术所有人。
声 明 :此信息收集于网络,如果你是此专利的发明人不想本网站收录此信息请联系我们,我们会在第一时间删除