OVO：开放词汇占据栅格
计算机视觉与模式识别
2023-06-16 v2 人工智能
机器学习
机器人学
摘要
语义占据预测旨在推断周围环境的密集几何与语义，以使自主智能体能在3D环境中安全运作。现有占据预测方法几乎完全在人类标注的体积数据上训练。尽管质量高，此类3D标注的生成费力且昂贵，将其限制于训练数据集中的少数特定对象类别。为应对此局限，本文提出开放词汇占据（OVO），一种允许对任意类别进行语义占据预测但训练期间无需3D标注的新方法。我们方法的关键在于（1）从预训练的2D开放词汇分割模型到3D占据网络的知识蒸馏，以及（2）用于高质量训练数据生成的像素-体素滤波。所得框架简单、紧凑，且与大多数最先进的语义占据预测模型兼容。在NYUv2和SemanticKITTI数据集上，OVO相比有监督语义占据预测方法取得了有竞争力的性能。此外，我们进行了广泛的分析与消融实验，以对提出框架的设计提供见解。我们的代码公开于 https://github.com/dzcgaara/OVO。
引用
@article{arxiv.2305.16133,
title = {OVO: Open-Vocabulary Occupancy},
author = {Zhiyu Tan and Zichao Dong and Cheng Zhang and Weikun Zhang and Hang Ji and Hao Li},
journal= {arXiv preprint arXiv:2305.16133},
year = {2023}
}