用于高效视图合成的可微基于点的辐射场
计算机视觉与模式识别
2023-07-06 v4 图形学
摘要
我们提出了一种用于高效新视角合成的可微渲染算法。通过摒弃基于体积的表示而采用学习到的点表示，我们在训练和推理的内存与运行时间上均比较现有方法提升一个数量级以上。该方法从均匀采样的随机点云开始，利用可微的基于 splat 的渲染器学习每点位置与视角相关外观，使模型演化以匹配一组输入图像。我们的方法在训练和推理上均比 NeRF 快至多 300 倍，仅牺牲微小质量，且静态场景内存占用低于 10~MB。对于动态场景，我们的方法比 STNeRF 训练快两个数量级，并以接近交互的速率渲染，即使不施加任何时间一致性正则化器也能保持高图像质量与时间连贯性。
引用
@article{arxiv.2205.14330,
title = {Differentiable Point-Based Radiance Fields for Efficient View Synthesis},
author = {Qiang Zhang and Seung-Hwan Baek and Szymon Rusinkiewicz and Felix Heide},
journal= {arXiv preprint arXiv:2205.14330},
year = {2023}
}