小麦育种的多模态大语言模型：智能育种的新探索
机器学习
2024-11-26 v1 人工智能
计算与语言
摘要
无人机遥感技术已成为作物育种中的关键技术，能够实现作物表型数据的高通量和无损收集。然而，育种的跨学科性质带来了技术障碍和效率挑战，限制了知识挖掘。因此，开发智能育种工具以挖掘跨域多模态数据至关重要。基于不同的预训练开源多模态大语言模型 (如 Qwen-VL、InternVL、Deepseek-VL)，本研究使用监督微调 (SFT)、检索增强生成 (RAG) 和来自人类反馈的强化学习 (RLHF) 技术将跨域知识注入 MLLM，从而构建用于小麦育种的多个多模态大语言模型 (WBLMs)。上述 WBLMs 采用本研究中创建的新型评估基准进行评估。结果表明，使用 SFT、RAG 和 RLHF 技术构建的 WBLM 以及 InternVL2-8B 性能领先。随后，对 WBLM 进行了后续实验。消融实验表明，SFT、RAG 和 RLHF 技术的组合能够提高整体生成性能，增强生成质量，平衡生成答案的时效性和适应性，并减少幻觉和偏见。WBLM 在利用跨域数据（遥感、表型、气象、原料）同时进行小麦产量预测时表现最佳，R2 和 RMSE 分别为 0.821 和 489.254 kg/ha.此外，WBLM 可为表型估计、环境压力评估、目标原料筛选、栽培技术建议和种子价格查询等任务生成专业意见支持。
引用
@article{arxiv.2411.15203,
title = {Multimodal large language model for wheat breeding: a new exploration of smart breeding},
author = {Guofeng Yang and Yu Li and Yong He and Zhenjiang Zhou and Lingzhen Ye and Hui Fang and Yiqi Luo and Xuping Feng},
journal= {arXiv preprint arXiv:2411.15203},
year = {2024}
}