面向 6-DOF 沉浸式体验的稠密空间导向光场数据集 Den-SOFT
计算机视觉与模式识别
2024-03-18 v1
摘要
我们构建了一个定制的移动多摄像头大空间稠密光场捕获系统，提供一系列高质量且稠密的光场图像，用于各种场景。我们的目标是为 IBRnet、NeRF 和 3D 高斯 splatting 等流行的 3D 场景重建算法提供数据支持。更重要的是，所收集的数据集稍于现有数据集的稠密性，可能还能激发面向沉浸式 VR/AR 体验的空间导向光场重建——这可能与以物体为中心的 3D 重建不同。我们使用总计 40 台 GoPro 10 摄像头进行拍摄，图像分辨率达 5k。每个场景捕获的照片数量不少于 1000 张，平均稠密度（单位球内视角数量）为 134.68。值得注意的是，我们的系统能够高效捕获大型户外场景。针对当前缺乏大规模空间和稠密光场数据集的问题，我们努力在数据捕获过程中包含了天空、反射、灯光和阴影等对 3D 重建领域研究者感兴趣的元素。最终我们在三个流行算法上验证了所提供数据集的有效性，并将重建的 3DGS 结果集成到 Unity 引擎中，展示了利用该数据集提升虚拟现实（VR）真实性并创建可实现的交互式空间的潜力。该数据集可在我们的项目网站上获取。
引用
@article{arxiv.2403.09973,
title = {Den-SOFT: Dense Space-Oriented Light Field DataseT for 6-DOF Immersive Experience},
author = {Xiaohang Yu and Zhengxian Yang and Shi Pan and Yuqi Han and Haoxiang Wang and Jun Zhang and Shi Yan and Borong Lin and Lei Yang and Tao Yu and Lu Fang},
journal= {arXiv preprint arXiv:2403.09973},
year = {2024}
}