Pest-Thinker：通过强化学习学习如何像昆虫学家一样思考与推理
计算机视觉与模式识别
2026-05-08 v1
摘要
害虫导致的作物损失是全球粮食安全和可持续农业发展的重大威胁。虽然近期的多模态大语言模型（MLLM）在视觉理解和智能农业方面显示出强大的潜力，但其直接应用于害虫识别仍受限于该领域的独特挑战，如种间复杂度高、种内变异性大以及专家标注数据稀缺。本文引入 Pest-Thinker，一个知识驱动的强化学习（RL）框架，使 MLLM 能够对细粒度的害虫形态进行推理。我们首先构建两个高清害虫基准数据集 QFSD 和 AgriInsect，包含多样物种和专家标注的形态特征。利用这些数据集，我们合成链式思考（CoT）推理轨迹，以便通过监督式微调（SFT）实现针对特定害虫视觉线索的结构化学习。随后，我们采用群相对策略优化（GRPO）并引入新型奖励函数，引导模型聚焦于可观察的形态证据，该奖励通过 LLM-as-a-Judge 策略进行评估。大量实验表明，Pest-Thinker 在域内和域外形态理解方面显著提升，标志着智能农业害虫分析向专家级视觉推理迈出了一步。数据集和源代码将在接受后提供。
引用
@article{arxiv.2605.06121,
title = {Pest-Thinker: Learning to Think and Reason like Entomologists via Reinforcement Learning},
author = {Xueheng Li and Yu Wang and Tao Hu and Ji Huang and Ke Cao and Qize Yang and Rui Li and Jie Zhang and Chengjun Xie},
journal= {arXiv preprint arXiv:2605.06121},
year = {2026}
}
备注
10 pages, 5 figures