多物种珊瑚图像的人在环分割
计算机视觉与模式识别
2026-01-15 v4 人机交互
机器学习
机器人学
摘要
通过水下和水面机器人进行的海洋调查产生了大量的珊瑚礁图像，然而对于领域专家而言，标注这些图像既昂贵又耗时。点标签传播是一种利用带有稀疏点标签的现有图像来生成增强真值数据的技术，这些数据可用于训练语义分割模型。在本工作中，我们展示了大型基础模型的最新进展使得仅利用 DINOv2 基础模型的去噪版本提取的特征和 K-Nearest Neighbors (KNN) 即可生成增强真值掩码，而无需任何预训练。对于标签极其稀疏的图像，我们利用人在环原则来提高标注效率：如果每幅图像有 5 个点标签，我们的方法在 mIoU 上比先前 SOTA 高出 19.7%。当人在环标注不可用时，将去噪的 DINOv2 特征与 KNN 结合使用，在 mIoU 上仍比先前 SOTA 提高 5.8%（5 个网格点）。在语义分割任务中，当仅使用 5 个点标签进行点标签传播时，我们在 mIoU 上比先前 SOTA 高出 13.5%。此外，我们对点标签的数量和位置进行了全面研究，并提出了几项建议，以提高使用点标注图像的效率。
引用
@article{arxiv.2404.09406,
title = {Human-in-the-Loop Segmentation of Multi-species Coral Imagery},
author = {Scarlett Raine and Ross Marchant and Brano Kusy and Frederic Maire and Niko Suenderhauf and Tobias Fischer},
journal= {arXiv preprint arXiv:2404.09406},
year = {2026}
}
备注
IEEE Journal of Oceanic Engineering accepted preprint of extended paper, 36 pages, 14 figures. Original conference paper (v2) accepted at the CVPR 2024 3rd Workshop on Learning with Limited Labelled Data for Image and Video Understanding (L3D-IVU)