Nerfels：用于改进相机位姿估计的可渲染神经编码
计算机视觉与模式识别
2022-06-07 v1
摘要
本文提出一种将传统基于关键点的相机位姿优化与可逆神经渲染机制相结合的框架。我们提出的 3D 场景表示 Nerfels 是局部稠密而全局稀疏的。与现有的将模型过拟合到整个场景的可逆神经渲染系统不同，我们采用特征驱动的方法，用可渲染编码表示与场景无关的局部 3D 块。通过仅在检测到局部特征处对场景建模，我们的框架借助神经渲染器中的可优化编码条件机制有效泛化到场景中未见的局部区域，同时保持稀疏 3D 地图表示的低内存占用。我们的模型可集成到现有的最先进手工设计与学习得到的局部特征位姿估计器中，在 ScanNet 上评估大相机基线场景时取得改进性能。
引用
@article{arxiv.2206.01916,
title = {Nerfels: Renderable Neural Codes for Improved Camera Pose Estimation},
author = {Gil Avraham and Julian Straub and Tianwei Shen and Tsun-Yi Yang and Hugo Germain and Chris Sweeney and Vasileios Balntas and David Novotny and Daniel DeTone and Richard Newcombe},
journal= {arXiv preprint arXiv:2206.01916},
year = {2022}
}
备注
Published at CVPRW with supplementary material