FoMo4Wheat: 迈向基于全球精选数据的可靠作物视觉基础模型
计算机视觉与模式识别
2025-09-09 v1
摘要
视觉驱动的田间监测是数字农业的核心，但基于通用领域预训练骨干网络构建的模型往往难以跨任务泛化，这是由于精细、多变的冠层结构与波动的田间条件相互作用所致。我们提出 FoMo4Wheat，这是首批作物领域视觉基础模型之一，在 ImAg4Wheat 上通过自监督进行预训练。ImAg4Wheat 是迄今为止最大、最多样的小麦图像数据集（包含十年间在 30 个全球站点收集的 250 万张高分辨率图像，涵盖 >2,000 种基因型和 >500 种环境条件）。这种特定于小麦的预训练产生的表示对小麦具有鲁棒性，并可迁移至其他作物和杂草。在冠层和器官级别的十项田间视觉任务中，FoMo4Wheat 模型始终优于在通用领域数据集上预训练的最先进模型。这些结果证明了特定作物基础模型对可靠田间感知的价值，并为具有跨物种和跨任务能力的通用作物基础模型描绘了路径。FoMo4Wheat 模型和 ImAg4Wheat 数据集已在线公开：https://github.com/PheniX-Lab/FoMo4Wheat 和 https://huggingface.co/PheniX-Lab/FoMo4Wheat。演示网站为：https://fomo4wheat.phenix-lab.com/。
引用
@article{arxiv.2509.06907,
title = {FoMo4Wheat: Toward reliable crop vision foundation models with globally curated data},
author = {Bing Han and Chen Zhu and Dong Han and Rui Yu and Songliang Cao and Jianhui Wu and Scott Chapman and Zijian Wang and Bangyou Zheng and Wei Guo and Marie Weiss and Benoit de Solan and Andreas Hund and Lukas Roth and Kirchgessner Norbert and Andrea Visioni and Yufeng Ge and Wenjuan Li and Alexis Comar and Dong Jiang and Dejun Han and Fred Baret and Yanfeng Ding and Hao Lu and Shouyang Liu},
journal= {arXiv preprint arXiv:2509.06907},
year = {2025}
}