语义到实例：一种半自监督学习方法
机器人学
2025-06-23 v1 人工智能
计算机视觉与模式识别
摘要
实例分割对于自动监测植物健康、生长和产量至关重要。然而，为开发能够实现实例分割的模型所需的大规模数据集需要对每个对象实例进行像素级注释，这限制了深度学习在这些领域的应用。在植物图像中密集聚集、自遮蔽对象常见，这一挑战尤为突出。为此，我们提出了一种需要最小手动标注即可开发高性能实例分割模型的半自监督学习方法。我们设计了GLMask，用于模型关注形状、纹理和模式，同时最小化对颜色特征的依赖。我们开发了一个管道，用于生成语义分割，然后将其转换为实例级别的分割。我们提出的方法显著优于传统实例分割模型，建立了mAP@50为98.5%的作物头实例分割模型。此外，我们在通用Microsoft COCO数据集上评估了所提方法，实现了超过12.6%的mAP@50性能提升。这表明，我们提出的方法的实用性不仅限于精密农业，也适用于其他具有类似数据特征的领域。
引用
@article{arxiv.2506.16565,
title = {Reimagination with Test-time Observation Interventions: Distractor-Robust World Model Predictions for Visual Model Predictive Control},
author = {Yuxin Chen and Jianglan Wei and Chenfeng Xu and Boyi Li and Masayoshi Tomizuka and Andrea Bajcsy and Ran Tian},
journal= {arXiv preprint arXiv:2506.16565},
year = {2025}
}