CTNeRF：面向单目视频动态神经辐射场的跨时间Transformer
计算机视觉与模式识别
2024-07-03 v2
摘要
我们的工作目标是从复杂动态场景的单目视频中生成高质量的新视角。先前的方法，如 DynamicNeRF，通过利用时变动态辐射场展示了令人印象深刻的性能。然而，这些方法在精确建模复杂物体的运动方面存在局限性，可能导致细节渲染不准确和模糊。为了解决这一局限性，我们提出了一种新颖的方法，该方法建立在近期的一种泛化 NeRF 之上，该 NeRF 将邻近视图聚合到新视点。然而，此类方法通常仅对静态场景有效。为了克服这一挑战，我们引入了一个同时在时域和频域中操作以聚合物体运动特征的模块。这使我们能够学习帧间关系并生成更高质量的图像。我们的实验表明，在动态场景数据集上，相较于最先进的方法取得了显著改进。具体而言，我们的方法在合成视图的准确性和视觉质量方面均优于现有方法。我们的代码可在 https://github.com/xingy038/CTNeRF 获取。
引用
@article{arxiv.2401.04861,
title = {CTNeRF: Cross-Time Transformer for Dynamic Neural Radiance Field from Monocular Video},
author = {Xingyu Miao and Yang Bai and Haoran Duan and Yawen Huang and Fan Wan and Yang Long and Yefeng Zheng},
journal= {arXiv preprint arXiv:2401.04861},
year = {2024}
}
备注
Accepted by Pattern Recognition