三维显示方法、装置、电子设备及存储介质

本发明涉及虚拟现实显示，尤其涉及一种三维显示方法、装置、电子设备及存储介质。

背景技术：

1、三维显示是当今一个引人注目的前沿科技领域。具有全视差、多角度、可多人同时观看的三维显示系统可应用在军事、广告、医学等显示领域，使观看者获得观看真实景物的感觉。

2、目前，虚拟现实显示技术通常在空间中直接渲染，不能显示三维显示器的背后场景信息，不能实现融合显示，影响观众的沉浸感。

技术实现思路

1、本发明提供一种三维显示方法、装置、电子设备及存储介质，可以同时显示背后真实场景模型和虚拟现实模型的立体图像，并实现背景透明化，从而提高沉浸感。

2、本发明提供一种三维显示方法，包括：

3、采集三维显示器的背后真实场景信息；

4、基于所述背后真实场景信息，对所述三维显示器的背后真实场景进行三维重建，得到所述三维显示器的背后真实场景模型和虚拟现实模型；

5、基于所述三维显示器的参数，对所述三维显示器的背后真实场景模型和虚拟现实模型进行处理，得到密集视点图像序列；

6、对所述密集视点图像序列进行多视点编码，得到编码图；

7、将所述编码图加载到所述三维显示器上进行三维显示。

8、根据本发明提供的一种三维显示方法，所述背后真实场景信息包括背后真实场景物体的图像坐标和背后真实场景深度分布信息；

9、所述基于所述背后真实场景信息，对所述三维显示器的背后真实场景进行三维重建，得到所述三维显示器的背后真实场景模型和虚拟现实模型，包括：

10、基于所述背后真实场景信息，重建所述背后真实场景模型；

11、基于所述背后真实场景深度分布信息，构建第一虚拟现实模型；

12、将所述背后真实场景物体的图像坐标转换为背后真实场景物体的世界坐标；

13、调整所述第一虚拟现实模型的旋转角度，以使其几何中心与所述背后真实场景物体的几何中心重合，得到第二虚拟现实模型；

14、按照比例因子调整所述第二虚拟现实模型的比例，以使其与所述三维显示器的背后真实场景物体贴合，得到所述虚拟现实模型在虚拟空间中的世界坐标。

15、根据本发明提供的一种三维显示方法，所述比例因子为比例因子系数修正值与面积比值之间的乘积，所述面积比值为所述三维显示器的背后真实场景物体在拍摄画面中所占的面积与所述拍摄画面的面积之间的比值；

16、所述按照比例因子调整所述第二虚拟现实模型的比例，以使其与所述三维显示器的背后真实场景物体贴合，得到所述虚拟现实模型在虚拟空间中的世界坐标，包括：

17、通过不断调节所述比例因子系数修正值来调节所述比例因子，并按照调节后的所述比例因子调整所述第二虚拟现实模型的比例，直至其与所述三维显示器的背后真实场景物体贴合，得到所述虚拟现实模型在虚拟空间中的世界坐标。

18、根据本发明提供的一种三维显示方法，所述通过不断调节所述比例因子系数修正值来调节所述比例因子，并按照调节后的所述比例因子调整所述第二虚拟现实模型的比例，直至其与所述三维显示器的背后真实场景物体贴合，包括：

19、循环执行以下步骤，直至所述三维显示器中的所述第二虚拟现实模型与所述三维显示器的背后真实场景物体贴合：

20、通过双目监督相机同时拍摄所述三维显示器中的所述第二虚拟现实模型和所述三维显示器的背后真实场景物体；

21、检测所述三维显示器中的所述第二虚拟现实模型的第一棋盘格角点坐标和所述三维显示器的背后真实场景物体的第二棋盘格角点坐标；

22、判断所述第一棋盘格角点坐标和所述第二棋盘格角点坐标是否形成连续直线，若是，则确定所述三维显示器中的所述第二虚拟现实模型与所述三维显示器的背后真实场景物体贴合，否则调节所述比例因子系数修正值来调节所述比例因子，并按照调节后的所述比例因子调整所述第二虚拟现实模型的比例。

23、根据本发明提供的一种三维显示方法，所述三维显示器的参数包括所述三维显示器的实际尺寸、观看距离和显示视角；

24、所述基于所述三维显示器的参数，对所述三维显示器的背后真实场景模型和虚拟现实模型进行处理，得到密集视点图像序列，包括：

25、将所述三维显示器在世界坐标系中的中间坐标位置确定为密集视点拍摄中心；

26、确定所述三维显示器的实际尺寸、观看距离和显示视角与密集视点生成位置之间的映射关系；所述密集视点生成位置为所述虚拟现实模型在虚拟空间中的世界坐标；

27、基于所述映射关系确定视点生成数目、视场角、间距和位姿；所述间距等于所述视场角与所述视点生成数目之间的比值

28、基于所述密集视点拍摄中心，对所述三维显示器的背后真实场景模型和虚拟现实模型进行处理，生成与所述视点生成数目、所述视场角、所述间距和所述位姿匹配的所述密集视点图像序列。

29、根据本发明提供的一种三维显示方法，所述采集三维显示器的背后真实场景信息，包括：

30、通过相机阵列采集所述三维显示器的背后真实场景信息；

31、所述将所述背后真实场景物体的图像坐标转换为背后真实场景物体的世界坐标，包括：以所述相机阵列的几何中心位置为世界坐标系的原点，将所述背后真实场景物体的图像坐标转换为所述背后真实场景物体的世界坐标。

32、根据本发明提供的一种三维显示方法，所述采集三维显示器的背后真实场景信息，包括：

33、通过单台相机采集所述三维显示器的背后真实场景信息；

34、所述将所述背后真实场景物体的图像坐标转换为背后真实场景物体的世界坐标，包括：以所述单台相机的位置为世界坐标系的原点，将所述背后真实场景物体的图像坐标转换为所述背后真实场景物体的世界坐标。

35、本发明还提供一种三维显示装置，包括：

36、采集模块，用于采集三维显示器的背后真实场景信息；

37、重建模块，用于基于所述背后真实场景信息，对所述三维显示器的背后真实场景进行三维重建，得到所述三维显示器的背后真实场景模型和虚拟现实模型；

38、处理模块，用于基于所述三维显示器的参数，对所述三维显示器的背后真实场景模型和虚拟现实模型进行处理，得到密集视点图像序列；

39、编码模块，用于对所述密集视点图像序列进行多视点编码，得到编码图；

40、显示模块，用于将所述编码图加载到所述三维显示器上进行三维显示。

41、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的三维显示方法。

42、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的三维显示方法。

43、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的三维显示方法。

44、本发明提供的三维显示方法、装置、电子设备及存储介质，首先，采集三维显示器的背后真实场景信息；基于背后真实场景信息，对三维显示器的背后真实场景进行三维重建，得到三维显示器的背后真实场景模型和虚拟现实模型；而后，基于三维显示器的参数，对三维显示器的背后真实场景模型和虚拟现实模型进行处理，得到密集视点图像序列；对密集视点图像序列进行多视点编码，得到编码图；最后，将编码图加载到三维显示器上进行三维显示，可以同时显示出背景透明的背后真实场景模型和虚拟现实模型的立体图像。因此，本发明可以同时显示背后真实场景模型和虚拟现实模型的立体图像，并实现背景透明化，从而提高沉浸感。