图像标签即你所需：用于海草粗分割
计算机视觉与模式识别
2023-09-07 v2 机器学习
机器人学
摘要
海草床是关键碳汇，但估算其储碳量需了解所含海草物种。配备机器学习算法的水下与水面载具可帮助大规模精确估算海草床的组成与范围。然而，先前的海草检测与分类方法需补丁级标签监督。本文中将海草分类重构为弱监督粗分割问题：训练时使用图像级标签（较补丁级标注少 25 倍标签），推理时获得补丁级输出。为此，我们引入 SeaFeats（一种利用无监督对比预训练与特征相似性的架构）和 SeaCLIP（一个展示大语言模型作为领域特定应用中监督信号有效性的模型）。我们证明 SeaFeats 与 SeaCLIP 的集成带来高度鲁棒的性能。我们的方法在多物种“DeepSeagrass”数据集上以类加权 F1 分数绝对提升 6.8%、在“Global Wetlands”数据集上海草存在/缺失 F1 分数绝对提升 12.1% 优于需补丁级标签的先前方法。我们还给出两个真实部署案例：Global Wetlands 数据集上的离群检测，以及我们的方法在 FloatyBoat 自主水面载具采集图像上的应用。
引用
@article{arxiv.2303.00973,
title = {Image Labels Are All You Need for Coarse Seagrass Segmentation},
author = {Scarlett Raine and Ross Marchant and Brano Kusy and Frederic Maire and Tobias Fischer},
journal= {arXiv preprint arXiv:2303.00973},
year = {2023}
}
备注
10 pages, 4 figures, additional 3 pages of supplementary material