基于单目化数据的快速非刚性辐射场
计算机视觉与模式识别
2023-11-14 v2 图形学
机器学习
摘要
动态场景的重建与新视角合成近期受到越来越多的关注。由于从大规模多视角数据重建涉及巨大的内存与计算需求，近期的基准数据集提供了从多个（虚拟）相机采样的每个时间戳的单目视图集合。我们将这种输入形式称为“单目化”数据。现有工作对合成设置与前向-facing真实世界数据展示了令人印象深刻的成果，但在训练速度以及生成新视角的角度范围上常受限制。本文解决这些局限并提出了一种针对非刚性形变场景的完整360°内向-facing新视角合成新方法。我们方法的核心在于：1）一个高效形变模块，解耦空间与时间信息的处理以加速训练与推理；以及2）一个以快速哈希编码神经辐射场表示规范场景的静态模块。除现有合成单目化数据外，我们使用一个新记录的、采自同步大规模多视角装置的具有挑战性的真实世界内向-facing场景数据集，系统分析了性能。在这两种情况下，我们的方法均显著快于先前方法，在不到7分钟内收敛并以1K分辨率实现实时帧率，同时为生成的新视角获得更高的视觉精度。我们的源代码与数据可在项目页https://graphics.tu-bs.de/publications/kappel2022fast获取。
引用
@article{arxiv.2212.01368,
title = {Fast Non-Rigid Radiance Fields from Monocularized Data},
author = {Moritz Kappel and Vladislav Golyanik and Susana Castillo and Christian Theobalt and Marcus Magnor},
journal= {arXiv preprint arXiv:2212.01368},
year = {2023}
}
备注
18 pages, 14 figures; project page: https://graphics.tu-bs.de/publications/kappel2022fast