SpikeNVS：通过脉冲相机增强模糊图像的新视角合成
计算机视觉与模式识别
2024-04-15 v3 人工智能
摘要
使用 Neural Radiance Fields (NeRF) 和 3D Gaussian Splatting (3DGS) 等神经场方法实现清晰的新视角合成（NVS）的最关键因素之一是训练图像的质量。然而，传统 RGB 相机容易产生运动模糊。相比之下，事件相机和脉冲相机等神经形态相机本质上能够捕获更全面的时序信息，可以提供场景的清晰表示作为额外的训练数据。最近的方法探索了集成事件相机以提高 NVS 的质量。事件-RGB 方法存在一些局限性，例如训练成本高以及在背景中无法有效工作。相反，我们的研究引入了一种使用脉冲相机的新方法来克服这些局限性。通过将来自脉冲流的纹理重建视为真实标签，我们设计了 Texture from Spike (TfS) 损失。由于脉冲相机依赖于时间积分而非事件相机使用的时间微分，我们提出的 TfS 损失保持了可控的训练成本。它同时处理前景物体和背景。我们还提供了一个使用我们的脉冲-RGB 相机系统捕获的真实世界数据集，以促进未来的研究工作。我们使用合成和真实世界数据集进行了大量实验，证明我们的设计可以增强 NeRF 和 3DGS 的新视角合成。代码和数据集将公开供访问。
引用
@article{arxiv.2404.06710,
title = {SpikeNVS: Enhancing Novel View Synthesis from Blurry Images via Spike Camera},
author = {Gaole Dai and Zhenyu Wang and Qinwen Xu and Ming Lu and Wen Chen and Boxin Shi and Shanghang Zhang and Tiejun Huang},
journal= {arXiv preprint arXiv:2404.06710},
year = {2024}
}