从习惯性设备重建高动态范围逼真场景

本文探讨了使用习惯性设备进行高动态范围逼真场景重建的挑战。现有方法通常假设使用来自设备视觉-惯性里程计系统估计的帧率 6DoF 位姿，这可能会忽略对于像素级重建至关重要的细节。本研究提出两个重要发现。首先，与主流方法将 RGB 摄像头视为全局快门帧率摄像头不同，我们强调采用视觉-惯性束包调整 (VIBA) 来校准滚动快门 RGB 感知摄像头在高频轨迹格式中的精确时间戳和运动，这确保了对滚动快门摄像头物理特性的准确校准。其次，我们将基于物理图像形成模型的 VIBA 纳入高斯点 splat 中，有效解决了传感器特性问题，包括 RGB 摄像头的滚动快门效应以及传感器测量的动态范围。我们的提出方法适用于广泛使用的高斯点表示变体。我们使用开源 Project Aria 设备在多样化的室内外照明条件下进行了全面评估，并进一步在 Meta Quest3 设备上进行了验证。在所有实验中，我们观察到采用 VIBA 后视觉质量提升 +1 dB PSNR，采用我们提出的图像形成模型可实现额外的 +1 dB 提升。我们的完整实现、评估数据集和录制配置均可在 http://www.projectaria.com/photoreal-reconstruction/ 获取。