Snap and Diagnose：野外植物疾病的高级多模态检索系统
计算机视觉与模式识别
2024-08-28 v1 信息检索
摘要
植物疾病识别是确保作物健康、减轻疾病造成损害的关键任务。迫切需要一种便捷工具，使农民能够基于查询图片或不明植物的文本描述获取诊断，以便在潜在疾病进一步蔓延前及时处理。本文开发了一种多模态植物疾病图像检索系统，支持基于图像或文本提示的疾病搜索。具体而言，我们利用包含超过18,000张跨89个类别的野外植物疾病数据集（PlantWild），提供对查询相关潜在疾病的全面视图。通过开发的系统实现了跨模态检索，借助一种新颖的基于CLIP的视觉语言模型，将疾病描述和疾病图像编码到相同的潜在空间。基于检索器构建的系统允许用户上传植物疾病图像或疾病描述，以检索与之相似特征的图像，从而为最终用户提供候选疾病列表供其考虑。
引用
@article{arxiv.2408.14723,
title = {Snap and Diagnose: An Advanced Multimodal Retrieval System for Identifying Plant Diseases in the Wild},
author = {Tianqi Wei and Zhi Chen and Xin Yu},
journal= {arXiv preprint arXiv:2408.14723},
year = {2024}
}