Agro-Consensus：面向发展中国家作物病害管理的视觉语言模型语义自一致性
计算机视觉与模式识别
2025-10-28 v1
摘要
非洲裔果蔬病虫害管理面临诸多挑战，包括缺乏专业植物病理学家、不可靠的互联网连接以及阻碍大规模 AI 系统部署的成本限制。本工作引入一种成本效益高的自一致性框架，以提高视觉语言模型（VLM）在作物病害图像描述方面的可靠性。该方法采用语义聚类，使用轻量级（80MB）预训练嵌入模型对多个备选响应进行分组，然后通过余弦相似度选择最具一致性的描述——包含诊断、症状、分析、治疗和预防建议。采用实用的人机交互（HITL）组件，其中用户确认作物类型可过滤错误生成的输出，确保更高质量的输入以供一致性机制使用。应用于公开可用的 PlantVillage 数据集，使用微调的 3B 参数 PaliGemma 模型，我们的框架在标准解码方法方面取得了改进。针对 800 张作物病害图像（每张图像最多生成 21 个备选方案），我们的方法在 10 个备选生成方案时实现了最高 83.1% 的准确率，而贪心解码的基线准确率为 77.5%。当考虑多个聚类时，准确率进一步提升至 94.0%（当正确响应在前四个备选聚类中的任何一个中时），显著高于基线方法通过前四名选择实现的 88.5% 的准确率。
引用
@article{arxiv.2510.21757,
title = {Agro-Consensus: Semantic Self-Consistency in Vision-Language Models for Crop Disease Management in Developing Countries},
author = {Mihir Gupta and Pratik Desai and Ross Greer},
journal= {arXiv preprint arXiv:2510.21757},
year = {2025}
}