基于3D-UNet改进网络的椎弓根螺钉辅助规划系统

本发明涉及生物医学体数据集分割领域与临床医师交互领域，具体而言，涉及基于3d-unet改进网络的椎弓根螺钉辅助规划系统。

背景技术：

1、长期以来，如何提高椎弓根螺钉置入的安全性、准确性及置入速度一直是脊柱外科的临床痛点和研究热点。精准、快速的椎弓根螺钉术前规划不仅能够帮助年轻医师顺利完成手术置钉，亦对推进多种辅助置钉技术的实际临床应用具有重要意义。近十余年来，人工智能和机器人技术快速演进，赋能和驱动脊柱外科向精准微创外科和数字化外科的方向发展，机器人能够完成多种精密操作的能力吸引了学者的目光，机器人辅助下椎弓根螺钉置钉自然成为脊柱外科医师新的探索方向。

2、目前，国内外研究团队均敏锐意识到了脊柱外科手术机器人具有的潜在临床价值并展开了一系列相关探索研究。临床实践中发现，术前规划对机器人辅助下椎弓根螺钉置钉具有相当程度的制约。椎弓根螺钉规划作为整个机器人手术流程的关键核心步骤，需要脊柱外科医师根据既往手术经验并发挥主观判断能力，在术前ct影像中确定椎弓根螺钉置入路径的入点、中点和止点，规划椎弓根螺钉长度和直径等关键形态学参数并在影像配准后再次进行确认，以确保椎弓根螺钉置入的安全性和准确性。该步骤通常需要手术医师在术前ct影像上徒手测量并绘制，过程繁琐费时，多依赖于术者的既往手术经验和主观判断能力，在大大消耗手术医师精力的同时，其规划质量和规划效率仍然无法得到有效保障，很大程度上制约了手术机器人发挥其精准手术操作的能力。综上所述，机器人辅助下椎弓根螺钉置钉需要手术医师进行术前椎弓根螺钉规划及术中影像配准确认两次人工定位，自动化程度仍然有进一步提升的空间，能够实施全流程智能椎弓根螺钉置钉手术的机器人目前在研究领域以及应用市场上仍相对空白。

3、早期对于椎弓根螺钉辅助规划的研究主要基于脊椎解剖形态的优化求解或利用模板匹配的方法，首先聚焦于脊椎的检测和脊椎解剖结构的分割与建模，但存在精确度较差、应用条件过多等缺点，无法充分满足脊柱外科医师的实际临床应用需求。

4、随着计算机科学(computer science，cs)的发展，人工智能结合脊柱外科的“医工融合”新方向强势走进了研究者的视野之中。在这种趋势下，后续对于椎弓根螺钉辅助规划的最新研究大多采用机器学习(machine learning，ml)技术，借助计算机强大运算力来提高椎弓根螺钉规划的安全性、准确性和时效性。但是，这些研究或是单纯基于术前未标注的ct影像数据进行训练，无法便捷地整合到实时影像引导的脊柱外科手术机器人和导航手术规划系统中；或是基于完成椎弓根螺钉置钉后的术中cbct影像数据进行训练，虽然更符合脊柱外科手术机器人和导航手术规划系统的应用模式，但相较于更为精细的术前ct影像则会损失部分数据。

5、当前，以神经网络为代表的深度学习(deep learning，dl)技术被认为在医学影像处理方面具有值得探索的研究前景，目前已有多项相关项目展开并取得了一定的研究成果。在这些研究中，深度学习技术被广泛应用于照片、x线和摩尔图像等多模态影像数据的训练，技术手段愈发成熟。

6、在脊柱外科方面，年轻脊柱外科医师缺乏一种高效、智能化的椎弓根螺钉辅助规划方法帮助他们顺利完成椎弓根螺钉置入手术，多种涉及医学影像的椎弓根螺钉置入辅助技术也需要精准、快速的椎弓根螺钉术前规划优化其临床应用模式；同时，采用深度学习技术研究并能够进一步搭载于实时影像引导的脊柱外科机器人和导航手术规划系统的椎弓根螺钉辅助规划系统仍然尚未有过报道。

技术实现思路

1、为了解决上述问题，本发明的目的是提供基于3d-unet改进网络的椎弓根螺钉辅助规划系统，旨在通过构建计算机辅助系统消除脊柱外科医师之间的主观差异，减少其工作量，提高工作效率并优化手术工作流程。

2、为了实现上述技术目的，本技术提供了基于3d-unet改进网络的椎弓根螺钉辅助规划系统，包括：

3、影像转换与传输子系统，用于进行医师账号管理、原始影像数据导入以及对原始影像数据进行分割规划后的影像储存；

4、序列预处理子系统，用于对原始影像预处理，并根据预处理结构进行互动式脊椎感兴趣区域撷取运算，获取脊椎节段的roi序列；

5、脊椎分割与椎弓根螺钉规划子系统，用于提供sis-3d-unet模型或att-sis-3d-unet模型，根据脊椎节段的roi序列进行脊椎分割以及椎弓根螺钉置钉轨迹规划，其中，在3d-unet模型引入bi-conv-lstm结构，构建sis-3d-unet模型，在基于3d-unet改进网络的椎弓根螺钉辅助规划系统sis-3d-unet模型的基础上，引入sk-net结构并在其基础上加入注意力机制模块，构建att-sis-3d-unet模型；

6、分割规划结果后处理子系统，用于对脊椎分割和椎弓根螺钉规划结果进行矫正，以及对于椎弓根螺钉形态学参数进行测量与运算并生成报告。

7、优选地，基于3d-unet改进网络的椎弓根螺钉辅助规划系统影像转换与传输子系统用于读取原始腰椎ct+骨三维重建影像数据骨窗薄层影像序列，并转换成可以显示的影像数据格式。

8、优选地，基于3d-unet改进网络的椎弓根螺钉辅助规划系统序列预处理子系统，用于对腰椎ct平扫+骨三维重建影像数据骨窗薄层影像序列进行数据格式转换和数据采样的预处理操作，在减轻设备负担同时避免过量冗余计算。

9、优选地，脊椎分割与椎弓根螺钉规划子系统，还用于根据运算速率或运算精度的需求，提供基于3d-unet改进网络的椎弓根螺钉辅助规划系统sis-3d-unet模型或基于3d-unet改进网络的椎弓根螺钉辅助规划系统att-sis-3d-unet模型。

10、优选地，基于3d-unet改进网络的椎弓根螺钉辅助规划系统脊椎分割与椎弓根螺钉规划子系统，还用于通过对抗网络对基于3d-unet改进网络的椎弓根螺钉辅助规划系统att-sis-3d-unet模型进行优化，其中，基于3d-unet改进网络的椎弓根螺钉辅助规划系统对抗网络由分割网络和判别器网络组成，基于3d-unet改进网络的椎弓根螺钉辅助规划系统分割网络采用了全局聚合模块的上采样residual blocks，基于3d-unet改进网络的椎弓根螺钉辅助规划系统判别器网络则是一个二分类网络，接收att-sis-3d-unet模型的分割规划结果和ground truth data作为输入，并判别其来源。

11、优选地，基于3d-unet改进网络的椎弓根螺钉辅助规划系统分割规划结果后处理子系统，还用于提供手动修正的方式对脊椎分割和椎弓根螺钉规划结果的不满意的部分进行修改。

12、优选地，基于3d-unet改进网络的椎弓根螺钉辅助规划系统分割规划结果后处理子系统，还用于根据脊椎分割和椎弓根螺钉规划结果，通过对椎弓根螺钉规划结果进行空间拟合以及三维转换，获取椎弓根螺钉规划的入点、中点和止点的关键点坐标以及椎弓根螺钉直径和长度的关键形态学参数的计算与导出。

13、优选地，椎弓根螺钉辅助规划系统的操作界面，包括按键操作功能区、影像检索与图例功能区、影像可视化功能区以及参数后处理功能区，用于承担系统任务的互相关联，构成用于椎弓根螺钉规划的智能可视化系统操作界面，其中，

14、基于3d-unet改进网络的椎弓根螺钉辅助规划系统按键操作功能区包括影像索引区、roi区、分割规划区、矫正调参区以及报告区；

15、基于3d-unet改进网络的椎弓根螺钉辅助规划系统影像检索与图例功能区，用于根据导入的影像信息或索引值选择需要处理的骨窗薄层影像序列数据显示于影像可视化功能区界面中，以及显示分割规划图例的脊椎序列以及椎弓根螺钉编号；

16、基于3d-unet改进网络的椎弓根螺钉辅助规划系统影像可视化功能区，用于展示不同处理阶段的影像数据，并在显示区域内增加缩小、放大和平移操作；

17、基于3d-unet改进网络的椎弓根螺钉辅助规划系统参数后处理功能区，用于展示脊椎分割和椎弓根螺钉规划后的椎弓根螺钉规划结果入点、中点和止点的关键点坐标以及椎弓根螺钉直径和长度的关键形态学参数以及初步的椎弓根螺钉规划结果评价意见。

18、本发明公开了以下技术效果：

19、本发明实现了对椎弓根螺钉规划结果中关键参数的计算与导出，通过定量验证和定性评估椎弓根螺钉辅助规划系统在脊椎分割和椎弓根螺钉规划的准确性、临床可接受度和规划效率，证明其能够实现快速、优秀的脊椎分割和椎弓根螺钉规划效果，旨在通过构建计算机辅助系统消除脊柱外科医师之间的主观差异，减少其工作量，提高工作效率并优化手术工作流程，对于辅助医生进行术前规划并改善椎弓根螺钉辅助置钉技术的临床工作流程具有潜在的临床应用价值，为椎弓根螺钉智能规划的未来研究和发展方向提供新的思路。