ImViD：用于增强VR沉浸感的沉浸式体积视频

用户沉浸感通过结合视觉和听觉刺激的全沉浸多模态体验得到极大增强。因此，VR/AR技术的下一前沿在于具有完整场景捕捉、大型6-DoF交互空间、多模态反馈以及高分辨率与高帧率内容的沉浸式体积视频。为激发沉浸式体积视频的重建，我们提出了ImViD，一个多视角、多模态数据集，具备完整的空间导向数据捕捉以及多种室内外场景。我们的采集装置支持多视角视频-音频在移动过程中的同步捕捉，这一能力在现有数据集中尚属空白，显著提升了数据捕捉的完整性、灵活性和效率。采集的多视角视频（附带同步音频）分辨率为5K，帧率为60FPS，时长1至5分钟，包含丰富的前景-背景元素和复杂动态。我们使用该数据集对现有方法进行了基准测试，并建立了从多视角音视频输入构建沉浸式体积视频以实现6-DoF多模态沉浸式VR体验的基础流程。该基准测试以及重建与交互结果证明了我们数据集和基线方法的有效性，我们相信这将激发未来在沉浸式体积视频制作方面的研究。