少样本语义学习用于非铺装路面环境中的鲁棒多生物群落三维语义建图
计算机视觉与模式识别
2025-02-27 v1 机器学习
机器人学
摘要
非铺装路面环境因非结构化地形、退化感知条件以及生物群落之间的域偏移，给高速自主导航带来了显著的感知挑战。在这些条件和生物群落中学习语义信息可能很困难，因为需要大量真实数据。在本工作中，我们提出了一种方法，利用预训练的视觉Transformer（ViT），在小型（<500张图像）、稀疏且粗略标注（<30%像素）的多生物群落数据集上进行微调，以预测二维语义分割类别。这些类别通过一种新颖的基于范围的度量随时间融合，并聚合为三维语义体素地图。我们在 Yamaha（52.9 mIoU）和 Rellis（55.5 mIoU）数据集上展示了跨生物群落的零样本二维语义分割，以及利用现有数据进行少样本粗略标注后，在 Yamaha（66.6 mIoU）和 Rellis（67.2 mIoU）上提升的分割性能。我们进一步展示了使用基于范围的语义融合方法的体素地图来处理常见非铺装路面危险（如突发障碍、悬垂物和水体特征）的可行性。
引用
@article{arxiv.2411.06632,
title = {Few-shot Semantic Learning for Robust Multi-Biome 3D Semantic Mapping in Off-Road Environments},
author = {Deegan Atha and Xianmei Lei and Shehryar Khattak and Anna Sabel and Elle Miller and Aurelio Noca and Grace Lim and Jeffrey Edlund and Curtis Padgett and Patrick Spieler},
journal= {arXiv preprint arXiv:2411.06632},
year = {2025}
}
备注
Accepted to Australasian Conference on Robotics and Automation (ACRA 2024)