烘焙特征：通过渲染特征图加速体素分割
计算机视觉与模式识别
2022-09-27 v1 机器人学
摘要
近期已有方法被提出，仅使用彩色图像和以稀疏语义标注像素形式给出的专家监督，将 3D 体素密集分割为各类。尽管令人印象深刻，这些方法仍需要相对大量的监督，且实践中分割一个物体可能耗时数分钟。此类系统通常仅针对其所拟合的特定场景优化其表示，而未利用来自已见图像的先验信息。本文中，我们提出使用在大型现有数据集上训练的模型提取的特征来提升分割性能。我们通过体素渲染特征图并将监督置于从各输入图像提取的特征上，将该特征表示烘焙进神经辐射场（NeRF）中。我们表明，通过将此表示烘焙进 NeRF，我们使后续分类任务变得容易得多。我们的实验显示，在多种场景下，与现有方法相比，我们的方法以更少的语义标注实现了更高的分割精度。
引用
@article{arxiv.2209.12744,
title = {Baking in the Feature: Accelerating Volumetric Segmentation by Rendering Feature Maps},
author = {Kenneth Blomqvist and Lionel Ott and Jen Jen Chung and Roland Siegwart},
journal= {arXiv preprint arXiv:2209.12744},
year = {2022}
}