用于深度感测系统的动态结构化光的制作方法

背景技术：

0、背景

1、本公开总体上涉及深度照相机组件，并且具体涉及用于深度照相机组件的动态结构化光(structured light)。

2、非常一般地，结构化光感测是使用结构化光投影仪将已知的结构化光图案(例如，条)投射到场景上的过程。场景的深度信息可以使用用结构化光图案照明的场景的图像来计算。结构化光图案的有效性部分基于图案特征的密度。传统的结构化光投影仪通常具有非动态调整的固定图案。因此，传统的结构化光投影仪通常针对特定范围的距离或对比度进行优化，但是在这些参数之外，图案或者变得太密集(例如，使得功耗不必要地高和/或特征无法彼此分辨)或者太稀疏(例如，导致非常低的分辨率)。

技术实现思路

0、概述

1、深度照相机组件(dca)确定深度信息。本公开的实施例支持用于提供用于确定深度信息的结构化光的方法、计算机可读介质和装置。在一些实施例中，基于存储在经由网络与头戴装置(headset)连接的映射服务器处的物理位置的虚拟模型来确定动态结构化光图案。虚拟模型描述了多个空间和这些空间的属性，其中虚拟模型中的位置对应于头戴装置的物理位置。映射服务器基于从头戴装置接收的描述局部区域的至少一部分的信息来确定头戴装置在虚拟模型中的位置。映射服务器部分地基于虚拟模型中的确定位置和与确定位置相关联的任何参数来确定与头戴装置的物理位置相关联的参数集合。头戴装置使用从映射服务器接收的参数集合来生成动态结构化光图案。

2、dca可以确定感兴趣区域，在该感兴趣区域中，增加或减少使用动态结构化光图案添加到感兴趣区域的纹理量可能是有益的。例如，dca可以基于使用对比度算法计算的对比度值，或者基于从映射服务器接收的参数来识别感兴趣区域。dca可以选择性地增加或减少在局部区域的一些部分中由动态结构化光图案添加的纹理的量。通过选择性地控制动态结构化光图案的一些部分，dca可以降低功耗和/或提高深度感测测量的精度。

3、在一些实施例中，dca包括结构化光(sl)投影仪、照相机组件和控制器。sl投影仪被配置成根据照明指令将一个或更多个sl图案投射到局部区域中。照相机组件被配置成捕获包括一个或更多个sl图案的局部区域的一部分的图像。控制器被配置成部分基于所捕获的图像来确定局部区域中的对比度的量。控制器还识别局部区域中的第一感兴趣区域和局部区域中的第二感兴趣区域。第一感兴趣区域具有第一对比度的量，第二感兴趣区域具有大于第一量的第二对比度的量。控制器部分基于第一感兴趣区域内的第一对比度的量和第二感兴趣区域内的第二对比度的量来更新照明指令。控制器向sl投影仪提供更新的照明指令。更新的照明指令使得sl投影仪将第一sl图案投射到第一感兴趣区域中，并将第二sl图案投射到第二感兴趣区域中。并且第二sl图案不同于第一sl图案。

4、本公开还涉及以下方面：

5、1)一种深度照相机组件，包括：

6、结构化光sl投影仪，其被配置成根据照明指令将一个或更多个sl图案投射到局部区域中；

7、照相机组件，其被配置成捕获包括所述一个或更多个sl图案的所述局部区域的一部分的图像；以及

8、控制器，其被配置成：

9、部分基于所捕获的图像来确定所述局部区域中的对比度的量；

10、识别所述局部区域中的第一感兴趣区域和所述局部区域中的第二感兴趣区域，所述第一感兴趣区域具有第一对比度的量，并且所述第二感兴趣区域具有大于所述第一对比度的量的第二对比度的量；

11、部分基于所述第一感兴趣区域内的所述第一对比度的量和所述第二感兴趣区域内的所述第二对比度的量来更新所述照明指令；以及

12、向所述结构化光sl投影仪提供更新的照明指令，其中所述更新的照明指令使得所述结构化光sl投影仪将具有第一图案元素密度的第一sl图案投射到所述第一感兴趣区域中，并将具有第二图案元素密度的第二sl图案投射到所述第二感兴趣区域中。

13、2)根据1)所述的深度照相机组件，其中，所述控制器还被配置成：

14、向映射服务器传输描述所述局部区域的信息，所述信息包括关于所述局部区域的至少所述部分的视觉信息。

15、3)根据1)所述的深度照相机组件，其中，所述控制器还被配置成：

16、使用对比度算法计算所述局部区域中的对比度。

17、4)根据3)所述的深度照相机组件，其中，所述对比度算法包括计算像素级对比度的滑动窗口最大值。

18、5)根据1)所述的深度照相机组件，其中，所述控制器被配置成基于检测到所述第一感兴趣区域内对象的移动来识别所述局部区域中的所述第一感兴趣区域。

19、6)根据1)所述的深度照相机组件，其中，所述控制器被配置成：

20、基于检测到所述第一感兴趣区域内的被遮挡对象，来识别所述局部区域中的所述第一感兴趣区域；以及

21、响应于检测到所述被遮挡对象，减少所述第一感兴趣区域中的纹理量，其中所述被遮挡对象是物理对象，并且其中所述物理对象被虚拟对象遮挡。

22、7)根据1)所述的深度照相机组件，其中，所述控制器被配置成：

23、确定虚拟对象在所述局部区域内的预期位置；以及

24、基于所述虚拟对象的所述预期位置选择所述第一sl图案的功率水平。

25、8)根据1)所述的深度照相机组件，其中，所述第二sl图案不同于所述第一sl图案。

26、9)根据1)所述的深度照相机组件，其中，所述控制器被配置成从映射服务器接收描述所述局部区域的参数。

27、10)根据1)所述的深度照相机组件，其中，所述控制器被配置成：

28、从包含所述sl图案中的一个sl图案的第二图像减去在没有任何sl图案的情况下捕获的第一图像；以及

29、基于所述减去，确定ir照明的背景水平。

30、11)一种方法，包括：

31、确定局部区域中的对比度的量；

32、识别所述局部区域中的第一感兴趣区域和所述局部区域中的第二感兴趣区域，所述第一感兴趣区域具有第一对比度的量，并且所述第二感兴趣区域具有大于所述第一对比度的量的第二对比度的量；

33、部分基于所述第一感兴趣区域内的所述第一对比度的量和所述第二感兴趣区域内的所述第二对比度的量来更新照明指令；以及

34、向结构化光sl投影仪提供更新的照明指令，其中所述更新的照明指令使得所述结构化光sl投影仪将具有第一图案元素密度的第一sl图案投射到所述第一感兴趣区域中，并将具有第二图案元素密度的第二sl图案投射到所述第二感兴趣区域中。

35、12)根据11)所述的方法，还包括：

36、向映射服务器传输描述所述局部区域的信息，所述信息包括关于所述局部区域的至少一部分的视觉信息。

37、13)根据11)所述的方法，还包括：

38、使用对比度算法计算所述局部区域中的对比度。

39、14)根据13)所述的方法，其中，所述对比度算法包括计算像素级对比度的滑动窗口。

40、15)根据11)所述的方法，还包括：

41、基于检测到所述第一感兴趣区域内对象的移动来识别所述局部区域中的所述第一感兴趣区域。

42、16)根据11)所述的方法，还包括：

43、基于检测到所述第一感兴趣区域内的被遮挡对象，来识别所述局部区域中的所述第一感兴趣区域。

44、17)根据16)所述的方法，还包括：

45、响应于检测到所述被遮挡对象，减少所述第一感兴趣区域中的纹理量。

46、18)根据17)所述的方法，其中，所述被遮挡对象是物理对象，并且其中所述物理对象被虚拟对象遮挡。

47、19)根据11)所述的方法，还包括：

48、从映射服务器接收描述所述局部区域的参数。

49、20)一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质具有在其上编码的指令，所述指令在由处理器执行时使所述处理器实施包括以下项的操作：

50、确定局部区域中的对比度的量；

51、识别所述局部区域中的第一感兴趣区域和所述局部区域中的第二感兴趣区域，所述第一感兴趣区域具有第一对比度的量，并且所述第二感兴趣区域具有大于所述第一对比度的量的第二对比度的量；

52、部分基于所述第一感兴趣区域内的所述第一对比度的量和所述第二感兴趣区域内的所述第二对比度的量来更新照明指令；以及

53、向结构化光sl投影仪提供更新的照明指令，其中所述更新的照明指令使得所述结构化光sl投影仪将具有第一图案元素密度的第一sl图案投射到所述第一感兴趣区域中，并将具有第二图案元素密度的第二sl图案投射到所述第二感兴趣区域中。