一种终身联邦学习的无人系统协同SLAM方法

本发明涉及三维重建领域，尤其是涉及一种终身联邦学习的无人系统协同slam方法。

背景技术：

1、随着人口增长和城市化进程带来的空间压力，人类活动方向开始向地下转移，地下环境的探测和开发成为充分利用地下资源的重要前提。然而，地下空间往往缺氧、光照差、地形复杂，探测地下空间时缺乏卫星图像，因此使用无人机进行三维地下环境重建是一种非常广泛和有效的方法。通过无人系统集群开展地下大场景的探索与重现工作时，一方面受到机载容量的限制，单机续航内所能到达和记录的区域十分有限。另一方面，地下环境的特殊性往往会引起通信质量的下降以及通信覆盖范围的减小，这将影响到各边端设备之间的数据同步和协同处理，海量传感器数据计算和通信问题难以保障，定位与建图的实时性和稳定性会大打折扣。在这样的地下未知环境中，由于通信质量无法保证，因此实现高效的无人系统云边协同slam仍然具有挑战性。

2、面对上述困境，已有部分研究致力于解决实际工程应用中的重建难题，例如提出的一种基于无人机的遥感技术，可用于复杂考古遗址中部分暴露的地下结构的检测和可视化；使用多无人机实现密集的后端3d重建以进行视觉隧道检查；利用无人机图像对基坑施工进行快速建图与监测。然而，当下使用的方法均无法实现在地下弱通信环境中点云地图的实时拼接与建立，长时序大场景时更易产生灾难性遗忘问题，无法保障定位与建图的准确性和鲁棒性。

技术实现思路

1、本发明的目的是为了提供一种终身联邦学习的无人系统协同slam方法，旨在通过协同云端和多个边端信息，将联邦学习与终身学习理念同建图算法相结合，实现无人系统集群在弱通联大场景下的精确定位与实时重建。

2、本发明的目的可以通过以下技术方案来实现：

3、一种终身联邦学习的无人系统协同slam方法，包括以下步骤：

4、步骤s1：边端无人机布置传感器，并获取传感器采集的数据；

5、步骤s2：基于步骤s1传感器采集的数据，边端无人机实现激光惯性里程计估计，生成局部地图；

6、步骤s3：步骤s1采集的激光雷达数据每隔一段预设的时间积累为场景流，输入终身学习子模块完成模型训练，得到历史模型信息，其中，所述终身学习子模块以激光雷达点云集作为输入，以提取的特征和场景类型作为输出；

7、步骤s4：根据各边端节点的终身学习子模块的历史模型信息，基于强化学习动态调节各终身学习子模块的模型权重，在中心节点的云端终身学习中心模块进行自适应模型融合，并由中心节点下发更新模型参数给边端节点；

8、步骤s5：利用步骤s4得到的模型，根据当前场景类型输出点云特征，进行场景补全，并与步骤s2输出的局部地图拼接形成预测的全局地图。

9、所述步骤s3具体包括：

10、步骤s31：每隔一段预设的时间t进行场景流获取，将截取到的第n段点云集定义为其中为中的第i个场景数据，为其对应的场景类型标签，nn为该段点云集中的所有场景数量，中所有点云均转换为点云中继，由点云中继提取器提取出的位置编码和种子特征构成；每个点云集在训练完成后即从内存中移除；

11、步骤s32：输入在初始化阶段使用训练终身学习子模块的特征提取器e0和分类器c0，之后将e0和c0二者冻结，再利用e0的输出训练特征重播器r0；其中，采用羊群算法选择特征重播器的训练样本，代表了α类的训练样本，nα代表了样本数量，其类均值可依据下式得出：

12、

13、步骤s33：在连续获得点云数据即增量学习阶段n，通过en-1和cn-1分别初始化en和cn，过程中采用知识蒸馏技术，蒸馏en-1中的知识来防止en出现严重的遗忘，并以教师和学生特征图中对应位置的特征激活的差异为损失：

14、

15、其中ft和fs分别代表教师和学生的特征图，φt和φs分别代表对教师和学生特征的转换；

16、使用和rn-1生成重播的特征来训练特征提取器en和分类器cn，训练完成后将二者冻结，进一步使用en的输出hn和rn-1的输出来训练特征重播器rn，为下一个任务提供特征融合做准备，这个过程使用gan网络来进行对抗性训练：

17、

18、其中表示鉴别器的损失，表示重播器的损失，表示重播对齐的损失；

19、在第n阶段的分类预测中，扩展最后一个全连接层的大小以适应新类型，同时，softmax层也扩展到相同的大小；

20、步骤s34：在学习完任务n后，将当前最优的rn和cn输出的特征提取及场景分类结果存储为并将历史结果存储为qn＝{p0,p1,...,pn}。

21、所述步骤s32中，初始化阶段的分类损失为：

22、

23、其中γ为真实标签，为预测的分类概率，v0为初始化阶段的场景类型数量。

24、所述步骤s33中，第n阶段的分类预测的分类损失计算如下：

25、

26、其中囊括了当前任务及以往任务的交叉熵损失，ζ为以往任务因子，un为学习完点云集n后得到的所有场景类型的数量，vn为目前点云集学到的场景类型数量。

27、所述步骤s4具体包括：

28、步骤s41：为各边端节点模型初始化权重wi，同时对强化学习网络参数θ和样本库d进行初始化，各子节点从中心节点接收任务并开始训练，当模型训练完成后，各子节点将训练好的模型上传到强化学习网络；

29、步骤s42：在强化学习网络中，状态s用来确定动作a，并执行以获得权值wi，执行后，网络得到奖励值r和新的状态s'，将{a，s，r，s'}存储到样本库d中，其中，状态s表示当下模型融合准确率及之前得到的权值，动作a表示节点分配的权值，r表示融合后模型准确率与之前准确率的差异；

30、步骤s43：通过随机抽取样本库中的一组样本来训练网络参数并更新θ，具体来说，状态s的价值vπ(s)和在状态s下执行动作a的长周期回报函数qπ(s,a)分别如下：

31、vπ(s)＝eπ[gt∣st＝s]

32、qπ(s,a)＝eπ[gt∣st＝s,at＝a]

33、其中，π表示在状态s时采取动作a的策略，gt表示根据该策略执行动作后的收益，eπ表示该策略下预计收益的期望。

34、为了在状态s下执行动作a达到最佳效果，应使价值函数最大化，根据贝尔曼方程得出：

35、v(s)＝e[rt+1+γmaxπv(st+1)∣st＝s]

36、q(s,a)＝e[rt+1+γmaxa′q(st+1,a′)∣st＝s,at＝a]

37、其中，γ∈[0,1]表示折扣权重。

38、将执行下一步动作a′后的最大q值作为目标解，通过均方误差进行梯度下降求解，对应的损失函数为：

39、l(θ)＝e[(y-q(s,a；θ))2]

40、步骤s44：通过强化学习更新后的权值wi，中心节点开展各个终身学习子模块的模型融合，再由中心节点下发模型参数至边端节点，循环执行步骤s41-s44直至完成训练。

41、所述步骤s5具体包括：

42、步骤s51：识别当前场景类型标签，根据训练完成的模型输出对应点云特征，利用不完整种子特征生成平滑插值来填充局部不完整扫描，生成预测粗略缺失部分；

43、步骤s52：将不完整种子特征输入缺失特征生成器，从现有特征中学习缺失部分特征，和随机位置编码构成缺失点云中继，作为transformer查询源；将不完整种子特征和绝对位置编码构成现有点云中继，作为transformer键和值，两者共同输入transformer，输出预测缺失点云中继；

44、步骤s53：对步骤s52得到的预测缺失点云中继施加与地图真值的对齐约束，再将其作为特征输入到foldingnet进行粗到精的转换，与步骤s51得到的预测粗略缺失部分相结合，输出稠密缺失部分；

45、步骤s54：将步骤s53得到的稠密缺失部分与步骤s2生成的局部地图拼接形成预测的完整场景地图。

46、所述生成预测粗略缺失部分的方法表示为：

47、

48、其中xmis表示缺失特征，xobs1、xobs2表示现有特征，pmis表示缺失部分对应的拓扑位置，pobs1、pobs2表示现有特征对应的拓扑位置。

49、所述传感器的种类至少包括：激光雷达、惯性测量单元。

50、所述传感器采集的信息至少包括：三维方向的无人机飞行速度、加速度，无人机俯仰-翻滚-旋转的角动量、角加速度，无人机坐标信息，点云位姿信息。

51、所述步骤s2具体为：激光雷达数据预处理后与imu数据共同参与前向后向传播，再开展残差计算和迭代状态更新，最终收敛得到里程计输出，更新局部地图。

52、与现有技术相比，本发明具有以下有益效果：

53、本发明采用强化联邦学习方法，协同云端和多个边端数据关联，实现无人系统集群动态调整和精确定位。同时将终身学习机制与slam算法相结合，在弱通联条件的地下环境中保证长时序定位与建图的准确性、稳定性以及对通信故障的卓越鲁棒性。