通过基于学习的眼高自适应增强预捕获环境的感知与沉浸感

使用全向相机的预捕获沉浸式环境提供了广泛的虚拟现实应用。先前研究表明，在以自我为中心的虚拟环境中操纵眼高会显著影响距离感知与沉浸感。然而，由于捕获过程完成后难以改变视角，预捕获真实环境中眼高的影响较少受到关注。为探索此影响，我们首先提出一项试点研究，以多种眼高捕获真实环境，并要求参与者判断自我中心距离与沉浸感。若确认显著影响，则一种基于图像的有效方法将预捕获真实世界环境适应用户眼高将是可取的。受该研究启发，我们提出一种基于学习的方法，用于合成具有改变眼高的全向图像的新视角。该方法采用多任务架构，以两种格式学习深度与语义分割，并生成高质量深度和语义分割以促进修复阶段。借助改进的全向感知分层深度图像，我们的方法合成自然且真实的视觉以进行眼高自适应。定量与定性评估显示出优于最先进方法的结果，并且一项广泛的用户研究验证了预捕获真实世界环境的感知与沉浸感提升。