一种腹腔镜增强现实手术导航方法、设备及装置与流程

本发明涉及医疗应用，特别涉及一种腹腔镜增强现实手术导航方法、设备及装置。

背景技术：

1、腹腔镜肝切除术具有切口小、痛苦小、恢复快、疤痕小等优点，成为当前手术的发展趋势。

2、目前，在腹腔镜增强现实导航技术中，无法对某一特定区域中的血管进行特殊显示，比如，对于病灶内部的血管，或者对于病灶安全切除区域内的血管，病灶中或病灶安全切除区域中是否存在血管，只能凭借医生的经验进行判断，该判断方式准确率低，血管显示不够直观。

技术实现思路

1、本发明提供一种腹腔镜增强现实手术导航方法、设备及装置，用以解决现有技术中存在的腹腔镜增强现实手术导航技术中，血管显示不够直观的问题。

2、第一方面，本技术实施例提供一种腹腔镜增强现实手术导航方法，该方法包括：

3、基于配准后的内脏三维模型，获取病灶表面网格顶点坐标集和血管表面网格顶点坐标集；

4、基于所述血管表面网格顶点坐标集和目标表面网格顶点坐标集，对血管和目标区域进行表面相交运算或距离运算，确定所述血管与所述目标区域存在相交表面，其中，所述目标表面网格顶点坐标集包括所述病灶表面网格顶点坐标集，或病灶安全切除区域对应的安全表面网格顶点坐标集；所述安全表面网格顶点坐标集为根据所述病灶表面网格顶点坐标集和所述血管表面网格顶点坐标集计算得到的；

5、根据运算结果确定待标记的血管分支，并对所述待标记的血管分支进行相应标记后在当前视图的腹腔镜图像上显示。

6、在一种可能的实现方式中，通过下列方式计算所述安全表面网格顶点坐标集：

7、针对所述病灶表面网格顶点坐标集中的每个病灶表面网格顶点坐标：根据所述病灶表面网格顶点坐标所属的三角面片，计算与所述病灶表面网格顶点坐标对应的外法向坐标；将所述外法向坐标和第一预设阈值进行相乘运算，将乘积与所述病灶表面网格顶点坐标进行相加，得到安全表面网格顶点坐标；

8、将所述得到的安全表面网格顶点坐标作为所述安全表面网格顶点坐标集。

9、在一种可能的实现方式中，所述基于所述血管表面网格顶点坐标集和目标表面网格顶点坐标集，对血管和目标区域进行表面相交运算，确定所述血管与所述目标区域存在相交表面，包括：

10、基于所述血管表面网格顶点坐标集中的每个血管表面网格顶点坐标和所述目标表面网格顶点坐标集中的每个目标表面网格顶点坐标，采用布尔运算中的相交运算，对血管和病目标区域进行表面相交运算；

11、若存在运算结果，则确定所述血管与所述目标区域存在相交表面。

12、在一种可能的实现方式中，所述基于所述血管表面网格顶点坐标集和目标表面网格顶点坐标集，对血管和目标区域进行距离运算，确定所述血管与所述目标区域存在相交表面，包括：

13、针对所述血管表面网格顶点坐标集中的每个血管表面网格顶点坐标：计算所述血管表面网格顶点坐标与所述目标表面网格顶点坐标集中的每个目标表面网格顶点坐标之间的第一距离；确定计算的第一距离中的第一最小距离；

14、将确定的第一最小距离中的最大值作为第一距离运算结果；

15、若第一距离运算结果小于等于第二预设阈值，则确定所述血管与所述目标区域存在相交表面。

16、在一种可能的实现方式中，所述基于所述血管表面网格顶点坐标集和目标表面网格顶点坐标集，对血管和目标区域进行距离运算，确定所述血管与所述目标区域存在相交表面，包括：

17、基于所述血管表面网格顶点坐标集，采用平均曲率流算法，获取血管的中心线的中心线坐标；

18、针对每个中心线坐标：计算所述中心线坐标和所述目标表面网格顶点坐标集中每个目标表面网格顶点坐标之间的第二距离，确定计算的第二距离中的第二最小距离；

19、将确定的第二最小距离中的最大值作为第二距离运算结果；

20、若所述第二运算结果小于等于第三预设阈值，则确定所述血管与所述目标区域存在相交表面。

21、在一种可能的实现方式中，所述根据运算结果确定待标记的血管分支，包括：

22、将确定的第二最小距离中的最小值对应的中心线坐标作为目标中心线坐标；

23、根据所述目标中心线坐标和所述中心线上的点的相邻邻域，确定与所述目标中心线坐标所在的中心线分支；

24、将所述中心线分支对应的血管作为待标记的血管分支。

25、在一种可能的实现方式中，所述根据所述目标中心线坐标和所述中心线上的点的相邻邻域，确定与所述目标中心线坐标所在的中心线分支，包括：

26、在所述中心线上，确定与所述目标中心线坐标相邻的第一中心线坐标和第二中心线坐标；

27、在第一方向上，以所述第一中心线坐标为起点，依次确定相邻的中心线坐标的第一个数，以及在第二方向上，以所述第二中心线坐标为起点，依次确定相邻的中心线坐标的第二个数；

28、若所述第一个数大于第四预设阈值，以及所述第二个数大于所述第四预设阈值，则将与所述第一个数对应的中心线坐标和与所述第二个数对应的中心线坐标之间的中心线作为所述中心线分支。

29、在一种可能的实现方式中，该方法还包括：

30、基于所述血管表面网格顶点坐标集和所述病灶表面网格顶点坐标集，对血管和病灶进行表面相交运算或距离运算，确定所述血管与所述病灶不存在相交表面；

31、基于所述血管表面网格顶点坐标集和所述安全表面网格顶点坐标集，对所述血管和所述病灶安全切除区域进行表面相交运算或距离运算，确定所述血管与所述病灶安全切换区域存在相交表面。

32、第二方面，本技术实施例提供一种腹腔镜增强现实融合显示设备，所述设备包括处理器和显示屏；

33、所述处理器，用于基于配准后的内脏三维模型，获取病灶表面网格顶点坐标集和血管表面网格顶点坐标集；基于所述血管表面网格顶点坐标集和目标表面网格顶点坐标集，对血管和目标区域进行表面相交运算或距离运算，确定所述血管与所述目标区域存在相交表面，其中，所述目标表面网格顶点坐标集包括所述病灶表面网格顶点坐标集，或病灶安全切除区域对应的安全表面网格顶点坐标集；所述安全表面网格顶点坐标集为根据所述病灶表面网格顶点坐标集和所述血管表面网格顶点坐标集计算得到的；根据运算结果确定待标记的血管分支，并对所述待标记的血管分支进行相应标记；

34、所述显示屏，用于对标记后的血管分支进行腹腔镜增强现实融合显示。

35、在一种可能的实现方式中，处理器通过下列方式计算所述安全表面网格顶点坐标集：

36、针对所述病灶表面网格顶点坐标集中的每个病灶表面网格顶点坐标：根据所述病灶表面网格顶点坐标所属的三角面片，计算与所述病灶表面网格顶点坐标对应的外法向坐标；将所述外法向坐标和第一预设阈值进行相乘运算，将乘积与所述病灶表面网格顶点坐标进行相加，得到安全表面网格顶点坐标；

37、将所述得到的安全表面网格顶点坐标作为所述安全表面网格顶点坐标集。

38、在一种可能的实现方式中，处理器具体用于：

39、基于所述血管表面网格顶点坐标集中的每个血管表面网格顶点坐标和所述目标表面网格顶点坐标集中的每个目标表面网格顶点坐标，采用布尔运算中的相交运算，对血管和病目标区域进行表面相交运算；

40、若存在运算结果，则确定所述血管与所述目标区域存在相交表面。

41、在一种可能的实现方式中，处理器具体用于：

42、针对所述血管表面网格顶点坐标集中的每个血管表面网格顶点坐标：计算所述血管表面网格顶点坐标与所述目标表面网格顶点坐标集中的每个目标表面网格顶点坐标之间的第一距离；确定计算的第一距离中的第一最小距离；

43、将确定的第一最小距离中的最大值作为第一距离运算结果；

44、若第一距离运算结果小于等于第二预设阈值，则确定所述血管与所述目标区域存在相交表面。

45、在一种可能的实现方式中，处理器具体用于：

46、基于所述血管表面网格顶点坐标集，采用平均曲率流算法，获取血管的中心线的中心线坐标；

47、针对每个中心线坐标：计算所述中心线坐标和所述目标表面网格顶点坐标集中每个目标表面网格顶点坐标之间的第二距离，确定计算的第二距离中的第二最小距离；

48、将确定的第二最小距离中的最大值作为第二距离运算结果；

49、若所述第二运算结果小于等于第三预设阈值，则确定所述血管与所述目标区域存在相交表面。

50、在一种可能的实现方式中，处理器具体用于：

51、将确定的第二最小距离中的最小值对应的中心线坐标作为目标中心线坐标；

52、根据所述目标中心线坐标和所述中心线上的点的相邻邻域，确定与所述目标中心线坐标所在的中心线分支；

53、将所述中心线分支对应的血管作为待标记的血管分支。

54、在一种可能的实现方式中，处理器具体用于：

55、在所述中心线上，确定与所述目标中心线坐标相邻的第一中心线坐标和第二中心线坐标；

56、在第一方向上，以所述第一中心线坐标为起点，依次确定相邻的中心线坐标的第一个数，以及在第二方向上，以所述第二中心线坐标为起点，依次确定相邻的中心线坐标的第二个数；

57、若所述第一个数大于等于第四预设阈值，以及所述第二个数大于等于所述第四预设阈值，则将与所述第一个数对应的中心线坐标和与所述第二个数对应的中心线坐标之间的中心线作为所述中心线分支。

58、在一种可能的实现方式中，处理器还用于：

59、基于所述血管表面网格顶点坐标集和所述病灶表面网格顶点坐标集，对血管和病灶进行表面相交运算或距离运算，确定所述血管与所述病灶不存在相交表面；

60、基于所述血管表面网格顶点坐标集和所述安全表面网格顶点坐标集，对所述血管和所述病灶安全切除区域进行表面相交运算或距离运算，确定所述血管与所述病灶安全切换区域存在相交表面。

61、第三方面，本技术实施例提供一种腹腔镜增强现实融合显示装置，包括：

62、获取模块，用于基于配准后的内脏三维模型，获取病灶表面网格顶点坐标集和血管表面网格顶点坐标集；

63、运算模块，用于基于所述血管表面网格顶点坐标集和目标表面网格顶点坐标集，对血管和目标区域进行表面相交运算或距离运算，确定所述血管与所述目标区域存在相交表面，其中，所述目标表面网格顶点坐标集包括所述病灶表面网格顶点坐标集，或病灶安全切除区域对应的安全表面网格顶点坐标集；所述安全表面网格顶点坐标集为根据所述病灶表面网格顶点坐标集和所述血管表面网格顶点坐标集计算得到的；

64、标记显示模块：用于根据运算结果确定待标记的血管分支，并对所述待标记的血管分支进行相应标记后在当前视图的腹腔镜图像上显示。

65、在一种可能的实现方式中，运算模块具体用于：

66、针对所述病灶表面网格顶点坐标集中的每个病灶表面网格顶点坐标：根据所述病灶表面网格顶点坐标所属的三角面片，计算与所述病灶表面网格顶点坐标对应的外法向坐标；将所述外法向坐标和第一预设阈值进行相乘运算，将乘积与所述病灶表面网格顶点坐标进行相加，得到安全表面网格顶点坐标；

67、将所述得到的安全表面网格顶点坐标作为所述安全表面网格顶点坐标集。

68、在一种可能的实现方式中，运算模块具体用于：

69、基于所述血管表面网格顶点坐标集中的每个血管表面网格顶点坐标和所述目标表面网格顶点坐标集中的每个目标表面网格顶点坐标，采用布尔运算中的相交运算，对血管和病目标区域进行表面相交运算；

70、若存在运算结果，则确定所述血管与所述目标区域存在相交表面。

71、在一种可能的实现方式中，运算模块具体用于：

72、针对所述血管表面网格顶点坐标集中的每个血管表面网格顶点坐标：计算所述血管表面网格顶点坐标与所述目标表面网格顶点坐标集中的每个目标表面网格顶点坐标之间的第一距离；确定计算的第一距离中的第一最小距离；

73、将确定的第一最小距离中的最大值作为第一距离运算结果；

74、若第一距离运算结果小于等于第二预设阈值，则确定所述血管与所述目标区域存在相交表面。

75、在一种可能的实现方式中，运算模块具体用于：

76、基于所述血管表面网格顶点坐标集，采用平均曲率流算法，获取血管的中心线的中心线坐标；

77、针对每个中心线坐标：计算所述中心线坐标和所述目标表面网格顶点坐标集中每个目标表面网格顶点坐标之间的第二距离，确定计算的第二距离中的第二最小距离；

78、将确定的第二最小距离中的最大值作为第二距离运算结果；

79、若所述第二运算结果小于等于第三预设阈值，则确定所述血管与所述目标区域存在相交表面。

80、在一种可能的实现方式中，标记显示模块具体用于：

81、将确定的第二最小距离中的最小值对应的中心线坐标作为目标中心线坐标；

82、根据所述目标中心线坐标和所述中心线上的点的相邻邻域，确定与所述目标中心线坐标所在的中心线分支；

83、将所述中心线分支对应的血管作为待标记的血管分支。

84、在一种可能的实现方式中，标记显示模块具体用于：

85、在所述中心线上，确定与所述目标中心线坐标相邻的第一中心线坐标和第二中心线坐标；

86、在第一方向上，以所述第一中心线坐标为起点，依次确定相邻的中心线坐标的第一个数，以及在第二方向上，以所述第二中心线坐标为起点，依次确定相邻的中心线坐标的第二个数；

87、若所述第一个数大于等于第四预设阈值，以及所述第二个数大于等于所述第四预设阈值，则将与所述第一个数对应的中心线坐标和与所述第二个数对应的中心线坐标之间的中心线作为所述中心线分支。

88、在一种可能的实现方式中，运算模块具体用于：

89、基于所述血管表面网格顶点坐标集和所述病灶表面网格顶点坐标集，对血管和病灶进行表面相交运算或距离运算，确定所述血管与所述病灶不存在相交表面；

90、基于所述血管表面网格顶点坐标集和所述安全表面网格顶点坐标集，对所述血管和所述病灶安全切除区域进行表面相交运算或距离运算，确定所述血管与所述病灶安全切换区域存在相交表面。

91、本发明有益效果如下：

92、本技术实施例提供的腹腔镜增强现实手术导航方法、设备及装置，首先基于配准后的内脏三维模型，获取病灶表面网格顶点坐标集和血管表面网格顶点坐标集，然后基于获取到的坐标集，进行表面相交运算或距离运算，在确定血管和目标区域存在相交表面后，根据运算结果确定待标记的血管分支，并对血管分支进行相应标记后在当前视图的腹腔镜图像上显示，这里的目标区域可以为病灶所在的区域，也可以为切除病灶的安全切除区域。由于本技术实施例提供的腹腔镜增强现实手术导航方法，可以对目标区域中的血管进行标记，并在腹腔镜图像上显示，使在目标区域内的血管显示的更直观，在手术过程中为医生提供导航辅助功能，从而提高增强现实手术导航的准确性。