用于 3D 视频合成的流式辐射场
计算机视觉与模式识别
2022-10-27 v1
摘要
我们提出一种基于显式网格的方法，用于高效重建流式辐射场，以实现真实世界动态场景的新视角合成。我们不训练一个合并所有帧的单一模型，而是采用增量学习范式构建动态建模问题，其中逐帧的模型差异被训练以补充基础模型在当前帧上的适配。通过利用简单而有效的窄带微调策略，所提出的方法实现了一个可行的框架，能够以高训练效率即时处理视频序列。通过使用基于模型差异的压缩，可以显著减少使用显式网格表示所带来的存储开销。我们还引入了一种高效策略以进一步加速每一帧的模型优化。在具有挑战性的视频序列上的实验表明，我们的方法能够实现每帧 15 �秒的训练速度并具有竞争力的渲染质量，相较于 SOTA 隐式方法实现了 的加速。代码可在 https://github.com/AlgoHunt/StreamRF 获取。
引用
@article{arxiv.2210.14831,
title = {Streaming Radiance Fields for 3D Video Synthesis},
author = {Lingzhi Li and Zhen Shen and Zhongshu Wang and Li Shen and Ping Tan},
journal= {arXiv preprint arXiv:2210.14831},
year = {2022}
}
备注
Accepted at NeurIPS 2022