神经隐式视觉-语言特征场
机器人学
2023-03-21 v1 计算机视觉与模式识别
摘要
近来，开放词汇语义图像分割方面取得了突破性成果。此类方法将图像中每个像素分割为运行时以文本提示形式给出的任意类别，而非训练时定义的固定类别集合。在本工作中，我们提出一种零样本体素开放词汇语义场景分割方法。我们的方法基于以下洞见：可将视觉-语言模型的图像特征融合进神经隐式表示中。我们展示所得特征场可通过将各点分配给自然语言文本提示而分割为不同类别。该隐式体素表示使我们能够通过从场景任意给定视角渲染特征图，在 3D 与 2D 中分割场景。我们展示我们的方法适用于含噪声的真实世界数据，并能在实时传感器数据上运行，动态响应文本提示。我们还给出了在 ScanNet 数据集上的定量比较。
引用
@article{arxiv.2303.10962,
title = {Neural Implicit Vision-Language Feature Fields},
author = {Kenneth Blomqvist and Francesco Milano and Jen Jen Chung and Lionel Ott and Roland Siegwart},
journal= {arXiv preprint arXiv:2303.10962},
year = {2023}
}