好的基础抵得上众多标签：标签高效的全景分割
机器人学
2024-12-04 v2 计算机视觉与模式识别
摘要
基于学习的模型在机器人感知中广泛应用的一个关键挑战是，在实现准确预测的同时显著减少所需的标注训练数据量。这不仅对于降低运营成本至关重要，而且有助于加快部署时间。在这项工作中，我们通过利用视觉基础模型奠定的基础，解决了少标签全景分割（PASTEL）的挑战。我们利用来自此类模型的描述性图像特征，训练两个轻量级网络头，分别用于语义分割和物体边界检测，仅使用极少的标注训练样本。然后，我们通过一种新颖的融合模块，基于归一化割，将它们的预测合并生成全景图。为了进一步提升性能，我们利用基于特征驱动相似性方案选择的未标注图像进行自训练。我们通过将PASTEL应用于自动驾驶和农业机器人中的重要机器人感知用例，强调了我们方法的相关性。在大量实验中，我们证明PASTEL在标签高效分割方面显著优于先前的方法，即使使用更少的标注。我们的代码公开于http://pastel.cs.uni-freiburg.de。
引用
@article{arxiv.2405.19035,
title = {A Good Foundation is Worth Many Labels: Label-Efficient Panoptic Segmentation},
author = {Niclas Vödisch and Kürsat Petek and Markus Käppeler and Abhinav Valada and Wolfram Burgard},
journal= {arXiv preprint arXiv:2405.19035},
year = {2024}
}