MetaFruit遇见基础模型：利用全面的多水果数据集推进农业基础模型

水果采摘给行业带来了巨大的劳动力和财务负担，凸显了机器人采摘解决方案进步的迫切需求。基于机器视觉的水果检测已被认为是稳健识别水果以指导机器人操作的关键组成部分。尽管在利用深度学习和机器学习技术进行水果检测方面取得了显著进展，但一个常见的缺陷是无法将开发的模型快速推广到不同的果园和/或各种水果种类。此外，相关数据的有限可用性进一步加剧了这些挑战。在这项工作中，我们介绍了MetaFruit，这是最大的公开多类别水果数据集，包含来自美国不同果园的4,248张图像和248,015个手动标注的实例。此外，本研究提出了一种创新的开放集水果检测系统，该系统利用先进的视觉基础模型（VFM）进行水果检测，能够熟练地识别不同果园条件下的各种水果类型。该系统不仅展示了通过少样本学习从最少数据中学习的卓越适应性，还展示了理解人类指令以执行细微检测任务的能力。所开发的基础模型的性能通过多个指标进行了全面评估，在我们的MetaFruit数据集和其他开源水果数据集上均优于现有的最先进算法，从而为农业技术和机器人采摘领域树立了新的基准。MetaFruit数据集和检测框架是开源的，以促进基于视觉的水果采摘的未来研究，标志着在解决农业部门迫切需求方面迈出了重要一步。