一种基于双重对比知识蒸馏的镜像语义分割轻量级洞察网络的图像分割方法与流程

本发明涉及图像处理，更具体的说是涉及一种基于双重对比知识蒸馏的镜像语义分割轻量级洞察网络的图像分割方法。

背景技术：

1、随着智能交通系统、智能驾驶、增强现实/虚拟现实等技术的不断发展，语义分割在场景理解、目标检测、视觉导航等多个领域发挥着越来越重要的作用。语义分割旨在对输入图像中的每个像素点进行分类，标注出其语义类别，是实现像素级精细化理解的重要基础技术。传统的语义分割方法主要依赖图像的浅层特征，如纹理、颜色等，以及手工设计的结构特征，但由于只能获取表层视觉线索，因此得到的分割结果相对粗糙，缺乏丰富的语义信息，无法满足实际应用的需求。

2、为提高分割精度和语义信息的丰富性，研究人员将深度学习技术引入语义分割任务。作为一种端到端的数据驱动方法，深度学习模型能够直接从大量原始数据中自动学习特征表示，从而避免了人工设计冗长的分类器流程。更重要的是，深度神经网络具有层次化的结构，能够从底层像素逐步学习到高层语义概念，极大地提高了像素级别分类任务的精度和效率。全卷积神经网络(fully convolutionalnetwork,fcn)凭借其不依赖全连接层的优势，可直接对任意大小的输入图像进行像素级预测，成为语义分割领域的主流框架。

3、在fcn的基础上，编码-解码(encoder-decoder)架构和空洞卷积(dilated/atrousconvolution)等创新技术不断涌现，推动了场景理解研究的快速发展。编码-解码结构包含两个主要模块：编码器通过连续的卷积和下采样操作逐层降低特征分辨率、抽取高层语义特征；解码器则逐层上采样和恢复特征分辨率，并利用跳跃连接融合浅层和深层特征，最终获得细粒度的分割预测。这种双向架构能够实现特征提取和空间精度之间的平衡。而空洞卷积则通过可控的扩大卷积核感受野，在不损失分辨率的情况下学习多尺度特征，从而提高了对大尺寸目标的检测能力。

4、尽管如此，现有语义分割方法在实际部署时仍然面临诸多挑战。首先，这些模型通常参数量大、计算量高，在移动端等资源受限环境下的应用往往受到严重制约。其次，大多数网络在融合rgb图像和深度图像等多模态数据时，采用了简单的特征级联或点式加和的方式，未能充分利用两种模态之间的复杂相关性，导致信息冗余或缺失。再者，现有方法缺乏对全局上下文信息的高效利用，仅依赖局部感受野提取的特征往往存在盲区，难以还原完整的目标形态，影响分割质量。

5、特别是在镜像场景下，由于镜面反射的存在，物体的形态和纹理往往会发生一定程度的变形和失真，给语义分割带来了极大的挑战。大多数现有方法依赖固定的镜面元素作为分割特征，但这种方式忽视了在复杂真实环境中，获取的特征图像质量参差不齐以及几何失真的问题，导致分割结果精确度低下。

6、因此，提出一种基于双重对比知识蒸馏的镜像语义分割轻量级洞察网络的图像分割方法，来解决现有技术存在的困难，是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此，本发明提供了一种基于双重对比知识蒸馏的镜像语义分割轻量级洞察网络的图像分割方法，用于解决现有技术中存在的技术问题。

2、为了实现上述目的，本发明提供如下技术方案：

3、一种基于双重对比知识蒸馏的镜像语义分割轻量级洞察网络的图像分割方法，包括训练阶段和测试阶段两个过程；其中，

4、训练阶段包括以下步骤：

5、s1-1、选取多幅原始的镜面场景图像和对应的深度图，以及真实语义分割图像，并构成训练集；

6、s1-2、构建卷积神经网络；

7、s1-3、将训练集中的每幅原始的镜面图像和对应的深度图进行数据增强后作为原始输入图像，输入到卷积神经网络中进行训练，得到对应的预测镜面图像，预测镜面图像包括语义分割预测图像和边界预测图像，将得到的预测镜面场景图像集合记为其中，为语义分割预测图像集合，为边界预测图像集合；

8、s1-4、计算语义分割预测图像与对应的真实语义分割图像之间的损失函数值；

9、s1-5、重复执行s1-3和s1-4共v次，直到卷积神经网络收敛，损失函数值降至最小，得到卷积神经网络分类训练模型；将当前得到的卷积神经网络的权值矢量和偏置项作为卷积神经网络分类训练模型的最优权值矢量和最优偏置项，对应记为wbest和bbest，其中，v>1；

10、测试阶段包括以下步骤：

11、s2-1、选取测试集中的第p组待检测的镜面场景图像，并标记为ip，其中，1≤p≤p；

12、s2-2、将第p组待检测的镜面场景图像的各种通道分量输入到卷积神经网络分类训练模型中，模型网络输出原镜面场景图像对应的镜面场景语义分割预测图像，得到的镜面场景语义分割预测图像记为

13、上述的方法，可选地，卷积神经网络，用于特征提取和特征融合；

14、卷积神经网络的特征提取操作包括：rgb图像输入层、深度图像输入层、二十五个卷积块、八个边缘轮廓加强模块arm、四个跨模态特征聚合模块dffm和两个几何空模块grf。

15、上述的方法，可选地，卷积神经网络包括教师网络和学生网络；其中，rgb图像输入至第一卷积块，深度图像输入至第五卷积块。

16、上述的方法，可选地，教师网络包括：十一个卷积块、八个边缘轮廓加强模块arm、四个跨模态特征聚合模块dffm和两个几何空间模块grf；

17、第一卷积块、第二卷积块、第三卷积块、第四卷积块、第一几何模块依次连接；第五卷积块、第六卷积块、第七卷积块、第八卷积块、第二几何模块依次连接；

18、第一卷积块的输出端连接第一边缘轮廓加强模块的输入端，第一边缘轮廓加强模块的输出端连接第一跨模态特征聚合模块的第一输入端，第五卷积块的输出端连接第五边缘轮廓加强模块的输入端，第五边缘轮廓加强模块的输出端连接第一跨模态特征聚合模块的第二输入端；

19、第二卷积块的输出端与第二边缘轮廓加强模块的第一输入端连接，第一跨模态特征聚合模块的输出端与第二边缘轮廓加强模块的第二输入端连接，第二边缘轮廓加强模块的输出端与第二跨模态特征聚合模块的第一输入端连接；第六卷积块的输出端与第六边缘轮廓加强模块的第一输入端连接，第一跨模态特征聚合模块的输出端与第六边缘轮廓加强模块的第二输入端连接，第六边缘轮廓加强模块的输出端与第二跨模态特征聚合模块的第二输入端连接；

20、第三卷积块的输出端与第三边缘轮廓加强模块的第一输入端连接，第二跨模态特征聚合模块的输出端与第三边缘轮廓加强模块的第二输入端连接，第三边缘轮廓加强模块的输出端与第三跨模态特征聚合模块的第一输入端连接；第七卷积块的输出端与第七边缘轮廓加强模块的第一输入端连接，第二跨模态特征聚合模块的输出端与第七边缘轮廓加强模块的第二输入端连接，第七边缘轮廓加强模块的输出端与第三跨模态特征聚合模块的第二输入端连接；

21、第四卷积块的输出端和第一几何空间模块的输出端均与第四边缘轮廓加强模块的第一输入端连接，第三跨模态特征聚合模块的输出端与第四边缘轮廓加强模块的第二输入端连接，第四边缘轮廓加强模块的输出端与第四跨模态特征聚合模块的第一输入端连接，第八卷积块的输出端与第二空间几何模块的输出端与第八边缘轮廓加强模块的第一输入端连接，第三模态特征聚合模块的输出端与第八边缘轮廓加强模块的第二输入端连接，第八边缘轮廓加强模块的输出端与第四跨模态特征聚合模块的第二输入端连接；

22、第一跨模态特征聚合模块的输出、第二跨模态特征聚合模块的输出级联后输入至第九卷积块，第九卷积块的输出一、第三跨模态特征聚合模块的输出级联后输入至第十卷积块，第十卷积块的输出二、第四跨模态特征聚合模块的输出级联后输入第十一卷积块的输入，第十一卷积块的输出为输出三。

23、上述的方法，可选地，学生网络包括：十一个与教师网络相同的卷积块和四个与教师网络相同的跨模态特征聚合模块dffm；

24、第一卷积块、第二卷积块、第三卷积块、第四卷积块依次连接；第五卷积块、第六卷积块、第七卷积块、第八卷积块依次连接；

25、第一卷积块的输出端与第一跨模态特征聚合模块的第一输入端连接，第五卷积块的输出端与第一跨模态特征聚合模块的第二输入端连接；

26、第二卷积块的输出端与第二跨模态特征聚合模块的第一输入端连接，第六卷积块的输出端与第二跨模态特征聚合模块的第二输入端连接；

27、第三卷积块的输出端与第三跨模态特征聚合模块的第一输入端连接，第七卷积块的输出端与第三跨模态特征聚合模块的第二输入端连接；

28、第四卷积块的输出端与第四跨模态特征聚合模块的第一输入端连接，第八卷积块的输出端与第四跨模态特征聚合模块的第二输入端连接；

29、第一跨模态特征聚合模块的输出、第二跨模态特征聚合模块的输出级联后输入至第九卷积模块，第九卷积模块的输出一、第三跨模态特征聚合模块的输出均输入至第十卷积模块，第十卷积块的输出二、第四跨模态特征聚合模块的输出级联后输入至第十一卷积模块，第十一卷积模块的输出为输出三。

30、上述的方法，可选地，第一卷积块、第四卷积块的结构相同，包括两个全球意识注意模块和两个局部增强注意模块；

31、第二卷积块与第五卷积块的结构相同，包括两个全球意识注意模块和两个局部增强注意模块；

32、第三卷积块与第六卷积块的结构相同，包括八个全球意识注意模块和八个局部增强注意模块；

33、第四卷积块与第八卷积块的结构相同，包括两个全球意识注意模块和两个局部增强注意模块。

34、上述的方法，可选地，跨模态特征聚合模块的具体内容：

35、输入一、二分别经过第十二卷积块和第十三卷积块得到输出五和输出六，将输出五的像素和输出六的像素相乘后输入到第一通道增强器中，第一通道增强器产生的输出再分别与输出五和输出六再次按像素相乘，产生的输出再与分别与输出五和输出六像素相加，之后依次经过第一特征聚合和第二特征聚合，将第一特征聚合的输出和第二特征聚合的输出进行级联得到输出七，将输出七同时经过第一空洞卷积、第二空洞卷积、第三空洞卷积后的输出进行级联，与输出七经过的第十四卷积生成残差的结果进行像素相加得到输出八。

36、上述的方法，可选地，边缘轮廓加强模块的具体内容：

37、将输入一依次通过第十五卷积块、第十六卷积块的输出，以及输入一依次通过第十七卷积块、第十八卷积块输出进行级联得到的值与辅助分支进行相乘得到输出九；输出九与第十七卷积块的输出进行像素相加得到的值、输出九与第十八卷积块的输出进行像素相加得到的值输入至线性融合模块作为线性融合模块的变量，第一融合因子和第二融合因子作为参数，最终与输入一进行像素相乘得到输出十；

38、辅助分支为输入二经过第一平均池化之后转置，再放入全连接层中，再与输入二进行像素相乘的结果，输出九即为一个权重。

39、上述的方法，可选地，空间几何模块的具体内容为：

40、输入一经过第一卷积块的输出、输入二经过第二卷积块的输出进行像素相加后输入至第十九卷积块，第十九卷积块的输出进行像素相减后一路与第一卷积块的输出进行像素相加后得到输出一，另一路与经过傅里叶变换滤波器的第一卷积块的输出进行像素相加后得到输出二。

41、上述的方法，可选地，卷积神经网络还包括级联蒸馏模块，级联蒸馏模块的具体内容为：

42、输入一依次经过第一最大池化层和第二十一卷积块的输出、输入二依次经过第二最大池化层和第二十二卷积块的输出、输入三依次经过第三最大池化层和第二十三卷积块的输出进行级联后输入至第二十四卷积块后得到输出一；

43、输入一依次经过第一最大池化层和第二十一卷积块的输出、输入二依次经过第二最大池化层和第二十二卷积块的输出、输出一进行像素相乘后得到输出二；

44、输入二依次经过第二最大池化层和第二十二卷积块的输出、输入三依次经过第三最大池化层和第二十三卷积块的输出、输出一进行像素相乘后得到输出三；

45、输出二、输出三进行像素相加后输入至第二十五卷积块经过激活函数，与经过激活函数的输入三进行损失计算就是第一级联蒸馏的过程。

46、经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于双重对比知识蒸馏的镜像语义分割轻量级洞察网络的图像分割方法，其有益效果为：

47、1)本发明提出了一种rgb-d的镜像洞察网络，跨模态特征聚合模块，以及通道增强操作、自适应调节不同通道的响应强度、协调不同颗粒度下的信息流动，为镜像分割提供了更有价值的线索；以及几何空间模块融合空间域和频域的特征表示，有望更全面地表征镜面反射和非镜面区域的差异；此外应用了细节加强专门设计了双门控机制和多路径设计，赋予网络自适应表示镜面物体边缘、角度等细节的能力，以提升镜面区域的分割精度；

48、2)本发明引入了“助教”机制，通过级联融合和监督，实现了不同层次特征的自适应融合以及高层向低层的渐进知识传递，很好地解决了多层次特征融合与传递的障碍；

49、3)本发明首次在镜面分割中使用像素级对比学习的人，在负样本中加入可学习的混合噪声，能够更全面地覆盖现实场景中的各种干扰形式，为了弥补kl散度以及负样本质量参差不齐的不足，我们使用内核损失将复杂分布的正负样本映射到更高维特征空间，使其线性可分，从而更好地度量和对比相似度。