来自太空的语义：面向航空野外机器人的卫星引导热成像语义分割标注
计算机视觉与模式识别
2024-03-22 v1 机器人学
摘要
我们提出了一种新方法，通过利用卫星衍生数据产品以及机载全球定位和姿态估计，自动为从航空器捕获的热成像图像生成语义分割标注。这种新能力克服了由于缺乏标注的热成像野外数据集以及人工标注的时间与成本而为野外机器人开发热成像语义感知算法所带来的挑战，实现了对野外采集工作所得热成像数据的大规模可并行化精确快速标注。通过将热成像条件优化步骤与视觉基础模型相结合，我们的方法能够利用低分辨率卫星土地覆盖数据，以极低甚至零成本生成高精度的语义分割标签。它达到了使用昂贵的高分辨率选项所获性能的 98.5%，并且相较于目前用于生成 RGB 图像标注的、基于大型视觉语言模型的流行零样本语义分割方法，展现了 70-160% 的提升。代码将发布于：https://github.com/connorlee77/aerial-auto-segment。
引用
@article{arxiv.2403.14056,
title = {Semantics from Space: Satellite-Guided Thermal Semantic Segmentation Annotation for Aerial Field Robots},
author = {Connor Lee and Saraswati Soedarmadji and Matthew Anderson and Anthony J. Clark and Soon-Jo Chung},
journal= {arXiv preprint arXiv:2403.14056},
year = {2024}
}