通过学习一致性场实现高效的神经场景图
计算机视觉与模式识别
2022-10-11 v1
摘要
神经辐射场（NeRF）从新视角实现了照片级真实感图像渲染，而神经场景图（NSG）将其扩展到具有多个对象的动态场景（视频）。然而，对每一图像帧进行计算繁重的光线步进成为巨大负担。本文利用视频中相邻帧之间的显著冗余，提出了一种特征复用框架。然而，从朴素复用NSG特征的初次尝试中，我们认识到将跨帧一致的物体固有属性与瞬态属性解耦至关重要。我们提出的方法，即基于一致性场的NSG（CF-NSG），重新表述了神经辐射场以额外考虑一致性场。通过解耦表示，CF-NSG充分利用特征复用方案，并以更可控的方式执行扩展程度的场景操控。我们通过经验验证，CF-NSG通过使用比NSG少85%的查询量，在渲染质量无明显下降的情况下大幅提升了推理效率。代码将发布于：https://github.com/ldynx/CF-NSG
引用
@article{arxiv.2210.04127,
title = {Towards Efficient Neural Scene Graphs by Learning Consistency Fields},
author = {Yeji Song and Chaerin Kong and Seoyoung Lee and Nojun Kwak and Joonseok Lee},
journal= {arXiv preprint arXiv:2210.04127},
year = {2022}
}
备注
BMVC 2022, 22 pages