Sync-NeRF：将动态 NeRF 推广至未同步视频
计算机视觉与模式识别
2024-08-14 v4
摘要
近期利用神经辐射场（NeRF）进行四维场景重建的进展已展示出从多视角视频表征动态场景的能力。然而，在未同步设定下，它们无法重建动态场景，甚至难以拟合训练视角。这是因为它们对一帧采用单一潜嵌入，而同一帧的多视角图像实际于不同时刻捕获。为克服该局限，我们为各未同步视频引入时间偏移，并将偏移与 NeRF 联合优化。依设计，我们的方法适用于多种基线并以大幅优势改进它们。此外，求解偏移天然起到无需人工干预的视频同步作用。我们在通用 Plenoptic Video Dataset 与新构建的 Unsynchronized Dynamic Blender Dataset 上开展实验以验证方法性能。项目主页：https://seoha-kim.github.io/sync-nerf
引用
@article{arxiv.2310.13356,
title = {Sync-NeRF: Generalizing Dynamic NeRFs to Unsynchronized Videos},
author = {Seoha Kim and Jeongmin Bae and Youngsik Yun and Hahyun Lee and Gun Bang and Youngjung Uh},
journal= {arXiv preprint arXiv:2310.13356},
year = {2024}
}
备注
AAAI 2024. Project page: https://seoha-kim.github.io/sync-nerf