一种基于数字孪生和无人机的智能监控系统及方法与流程

本发明涉及无人机监控，具体为一种基于数字孪生和无人机的智能监控系统及方法。

背景技术：

1、无人机监控是一种利用无人机技术进行远程监控的方法，它具有广泛的应用领域，包括但不限于安全监控、环境监测、交通管理、农业监测等；无人机监控的基本原理是通过无人机搭载的各种传感器和设备，对目标区域进行实时观测和数据采集，无人机能够提供更安全、高效和准确的监控服务；无人机监控系统的性能很大程度上取决于收集的数据的质量，云层遮挡和建筑物以及其他遮挡物造成的阴影区域对无人机图像获取有显著影响，当无人机快速穿越阴影区域导致摄像头的自动曝光系统来不及调整，造成图像曝光不一致，摄像头捕捉到的图像因为快速变化的光照条件而出现模糊，影响无人机监控系统的性能，为此，如何提高无人机收集的图像数据的质量，成为了一个亟需解决的问题。

技术实现思路

1、本发明的目的在于提供一种基于数字孪生和无人机的智能监控系统及方法，以解决上述背景技术中提出的问题。

2、在本发明的一个方面，提供一种基于数字孪生和无人机的智能监控方法，包括：

3、s11，获取无人机拍摄的图像数据；

4、s12，基于无人机拍摄的图像数据，确定存在固定遮挡的监控地点；

5、s13，根据存在固定遮挡的监控地点信息，对无人机进行调速，控制无人机按照设定速度通过存在固定遮挡监控地点并进行拍摄；

6、s14，基于无人机拍摄的图像数据，对监控地点进行监视。

7、在步骤s12中，所述确定存在固定遮挡的监控地点还包括以下步骤：

8、令存在曝光不一致问题的已有图像数据为第一类图像数据，令不存在曝光不一致问题的已有图像数据为第二类图像数据，将第一类数据和第二类数据平均分成k个区域，通过区域对比度判断第一类图像数据和第二类图像数据是否存在曝光不一致问题；若第一类图像数据被判断为存在曝光不一致问题，则将第一类图像数据的正确判断数量x1加一，否则第一类图像数据的正确判断数量x1不变；若第二类图像数据被判断为不存在曝光不一致问题，则将第二类图像数据的正确判断数量x2加一，否则第二类图像数据的正确判断数量x2不变；计算第一类图像数据的正确判断率x1和第二类图像数据的正确判断率x2，式中sx1和sx2为第一类图像数据和第二类图像数据的总数；

9、计算出综合正确率y，y＝k1x1+k2x2，k1和k2为预设系数，通过网格搜索法确定区域数量k的值：设定k的初始值；将步长设置为1，每次迭代后k的值加一，同时确定每次迭代后综合正确率的值，当综合正确率达到最大值时，完成搜索，此时k的值为最终的区域数量。

10、将图像分割成多个区域，分别计算每个区域的平均亮度或对比度，如果相邻区域之间的亮度或对比度差异很大，表明可能存在曝光不一致问题。

11、通过区域对比度判断第一类图像数据和第二类图像数据是否存在曝光不一致问题，还包括以下步骤：

12、将第一类图像数据和第二类图像数据转化为rgb图像，计算出每个像素点的像素值g(i,j)，g(i,j)＝0.299r(i,j)+0.587g(i,j)+0.114b(i,j)，式中(i,j)表示图像中的位置，r(i,j)、g(i,j)和b(i,j)分别为位置(i,j)处的红、绿和蓝通道值；计算出每个区域的平均像素值和相邻区域平均像素值之差，若rgb图像中存在相邻区域平均像素值之差大于等于第一阈值，则判断rgb图像存在曝光不一致问题，对应第一类图像数据或第二类图像数据也存在曝光不一致问题；第一阈值通过已知存在曝光不一致问题的图像进行确定。对于rgb图像，使用公式转换到灰度空间，由于灰度图像的亮度是rgb三个颜色通道亮度的加权和，进而得到像素点的亮度。

13、可选地，根据已知存在曝光不一致问题的图像，将其分成多个区域之后，能够得到每个区域的平均像素值和相邻像素值之间的差值，取所有差值的最大；每个存在曝光不一致问题的图像都存在一个最大值，取所有最大值之间的最小值，能够得到第一阈值。

14、在步骤s12中，所述确定存在固定遮挡的监控地点还包括以下步骤：

15、s41，获取无人机拍摄的图像数据及无人机拍摄图像时的位置信息，提取出不同日期下监控地点a拍摄时间b的图像数据，通过区域对比度判断不同日期下监控地点a拍摄时间b图像数据的曝光不一致问题，并计算出现曝光不一致问题的概率p1(a,b)，式中n(a,b)表示存在曝光不一致问题的日期的数量，sn(a,b)表示日期的总数；

16、s42，在拍摄时间b的所有情况下，取p1(a,b)的最大值，得到监控地点a出现曝光不一致问题的概率p1(a)，若p1(a)大于等于第二阈值，第二阈值须大于1-x2，则确定监控地点a存在固定遮挡；遍历a的所有取值，确定所有监控地点的固定遮挡情况。

17、云层遮挡和建筑物以及其他遮挡物造成的阴影区域对无人机图像获取有显著影响，云层和地面遮挡物造成的阴影区域会导致光照不均匀，快速穿越阴影区域可能导致摄像头的自动曝光系统来不及调整，造成图像曝光不一致，阴影部分图像过暗，阳光部分图像过亮。在造成阴影区域的原因中，云层遮挡是不固定的，建筑物和其他遮挡物是相对固定的，云层的遮挡是动态变化的，因为云层随风移动，不断地改变它们在天空中的位置；相对于云层，建筑物和其他地面上的遮挡物是相对固定的，它们的位置不会随时间快速变化，因此，当穿越这些固定遮挡物产生的阴影区域时，需要固定调整无人机的飞行速度。这些固定遮挡物会在地面上产生持续的阴影区域，这些阴影的大小和形状会随着太阳位置的变化而变化，但通常变化速度较慢。当无人机按照设定的监控路线定期进行监控时，无人机到达监控地点的时间点相对一致，阴影的大小和形状也相对一致。

18、为了确定存在固定遮挡的区域，首先需要确定存在曝光不一致问题的监控地点，接着，在这些确定的监控地点中，排除云层等可移动遮挡物带来的影响；为此，根据每个地点出现曝光不一致问题的概率进行判断，若只存在云层等可移动遮挡物带来的影响，则仅在云层等可移动遮挡物产生阴影时才会带来曝光不一致问题，而存在固定遮挡的区域，则一直存在曝光不一致问题；特别地，存在监控地点长期受到云层等可移动遮挡物的影响，此时云层等可移动遮挡物就相当于固定遮挡物；通过将每个地点出现曝光不一致问题的概率与阈值进行比较，判断地点是否存在固定遮挡。由于不存在曝光不一致问题的图像有1-x2的概率被错误识别，所以第二阈值须大于1-x2。可选地，第二阈值可根据确定存在固定遮挡的监控地点的图像数据，取所有存在固定遮挡的监控地点的出现曝光不一致问题概率的最小值。

19、在步骤s13中，所述根据存在固定遮挡的监控地点信息，对无人机进行调速还包括以下步骤：

20、对存在固定遮挡的监控地点进行标定，无人机按照设定的行驶路线进行监控，当无人机与标定地点的距离减小至目标距离时，无人机开始从正常飞行速度按照降速曲线进行减速，通过标定地点后，无人机重新加速回到正常飞行速度，目标距离dis通过以下公式进行计算，式中，v(t)表示无人机的降速曲线，t1为无人机按照降速曲线从正常飞行速度降低到目标飞行速度花费的时间，所述目标飞行速度为摄像头响应光照变化需要的时间，通过实地测试，记录在不同飞行速度下无人机穿越阴影区域的图像质量，根据测试结果确定目标飞行速度。

21、无人机的降速曲线通过以下步骤进行确定：将气象数据和无人机的参数信息输入到数字孪生平台中，构建不同气象条件下无人机的减速场景，设置减速指标，选择减速指标最佳的降速曲线。可选地，减速指标设置为无人机的能耗，直接根据无人机的使用说明，选择能耗最低的减速过程。

22、在本发明的另一个方面，提供一种基于数字孪生和无人机的智能监控系统，包括：无人机监控模块、数据分析模块、数字孪生平台、数据存储模块和数据采集模块；所述无人机监控模块的输出端与所述数据存储模块的输入端相连接，用于获取监控地点的图像数据；所述数字孪生平台的输出端与所述数据分析模块的输入端相连接，用于构建不同气象条件下无人机的减速场景，确定无人机的降速曲线；所述数字孪生平台还根据无人机拍摄的监控图像，模拟监控地点的场景，对监控地点进行监控；所述数据存储模块的输出端与所述数据分析模块的输入端相连接，用于存储无人机拍摄的监控图像；所述数据采集模块的输出端与所述数字孪生平台的输入端相连接，用于获取无人机监控当日的气象数据；所述数据分析模块用于对无人机拍摄的监控图像进行分析，对监控地点进行监控。

23、所述数据分析模块还包括图像转化单元、图像分块单元、曝光检测单元、固定遮挡识别单元和图像分析单元；所述图像转化单元用于将无人机拍摄的图像转化为rgb图像，所述图像分块单元用于将无人机拍摄的图像平均分成若干个区域；所述曝光检测单元用于识别无人机拍摄图像的曝光情况；所述固定遮挡识别单元基于无人拍摄图像的曝光情况，判断监控地点的固定遮挡情况；所述图像分析单元，用于对无人机拍摄的图像进行分析，对监控地点进行监控。所述图像分块单元基于图像数据曝光不一致问题的正确判断率得到优化目标，通过网格搜索法确定图像分块后的区域数量。所述无人机监控模块还包括信息传输单元、定位单元、图像采集单元和控制单元；所述信息传输单元用于实现无人机与数据分析模块之间的信息传输；所述定位单元用于确定无人机的位置；所述图像采集单元用于获取监控地点的图像数据；所述控制单元，用于操控无人机按照设定路线前往监控地点拍摄图像。

24、与现有技术相比，本发明所达到的有益效果是：通过无人机进行监控，可以飞行到传统监控设备难以到达的复杂区域或高风险环境中，监控范围更为广泛，安全性更高；在无人机穿越光照条件快速变化的区域时，适当降低无人机的飞行速度，给摄像头系统留出更多时间来适应光照条件的变化，在一定程度上减轻无人机穿越光照条件快速变化的区域时速度对拍摄图像的影响，能够获取质量更高的图像数据。