基于隐式场景表示的原位场景标注与理解
计算机视觉与模式识别
2021-08-24 v2
摘要
语义标注与几何及辐射度重建高度相关，因为具有相似形状和外观的场景实体更可能来自相似的类别。近期的隐式神经重建技术颇具吸引力，因为它们不需要先验训练数据，但同样的完全自监督方法无法用于语义，因为标签是人类定义的属性。我们将神经辐射场（NeRF）扩展为联合编码语义与外观和几何，从而可利用少量针对该场景的原位标注获得完整且准确的二维语义标签。NeRF固有的多视角一致性与平滑性有利于语义，使稀疏标签能够高效传播。我们展示了该方法在房间尺度场景中标签稀疏或噪声很大时的优势。我们在多种有趣的应用中展示了其优越特性，例如高效的场景标注工具、新颖的语义视角合成、标签去噪、超分辨率、标签插值以及视觉语义建图系统中的多视角语义标签融合。
引用
@article{arxiv.2103.15875,
title = {In-Place Scene Labelling and Understanding with Implicit Scene Representation},
author = {Shuaifeng Zhi and Tristan Laidlow and Stefan Leutenegger and Andrew J. Davison},
journal= {arXiv preprint arXiv:2103.15875},
year = {2021}
}
备注
Camera ready version. To be published in Proceedings of IEEE International Conference on Computer Vision (ICCV 2021) as Oral Presentation. Project page with more videos: https://shuaifengzhi.com/Semantic-NeRF/