SCIGS：从快照压缩图像进行 3D 高斯泼溅
计算机视觉与模式识别
2024-11-26 v2
摘要
快照压缩成像（SCI）为捕获高速动态场景中的信息提供了一种可能性，需要高效的重建方法来恢复场景信息。尽管取得了可喜的成果，但当前基于深度学习和基于 NeRF 的重建方法仍面临挑战：1）基于深度学习的重建方法难以维持场景内的 3D 结构一致性；2）基于 NeRF 的重建方法在处理动态场景时仍存在局限性。为了应对这些挑战，我们提出了 3DGS 的变体 SCIGS，并开发了一个原始级变换网络，利用相机位姿戳和高斯基元坐标作为嵌入向量。该方法解决了原始 3DGS 中对相机位姿的需求，并通过利用变换后的基元增强了动态场景中的多视图 3D 结构一致性。此外，引入了高频滤波器以消除变换过程中产生的伪影。所提出的 SCIGS 首次从单张压缩图像重建 3D 显式场景，将其应用扩展到动态 3D 场景。在静态和动态场景上的实验表明，SCIGS 不仅增强了 SCI 解码，而且在从单张压缩图像重建动态 3D 场景方面优于当前最先进的方法。代码将在发表后公开。
引用
@article{arxiv.2411.12471,
title = {SCIGS: 3D Gaussians Splatting from a Snapshot Compressive Image},
author = {Zixu Wang and Hao Yang and Yu Guo and Fei Wang},
journal= {arXiv preprint arXiv:2411.12471},
year = {2024}
}