PhytoSynth：基于多模态生成模型的作物病害数据生成及新颖基准测试与提示工程方法
计算机视觉与模式识别
2025-05-14 v1 人工智能
新兴技术
摘要
在田间收集大规模作物病害图像过程繁琐且耗时。生成模型 (GMs) 提供了一种通过创建与真实世界图像相似的合成样本的替代方案。然而，现有研究主要依赖基于生成对抗网络 (GAN) 的图像到图像翻译，缺乏对农业场景中计算需求的全面分析。因此，本研究探索了基于多模态文本到图像的方法生成合成作物病害图像，首次在此背景下提供计算基准测试。我们训练了三个 Stable Diffusion (SD) 变体——SDXL、SD3.5M (中等) 和 SD3.5L (大型)，并使用 Dreambooth 和低秩适应 (LoRA) 微调技术来增强泛化性。SD3.5M 在推理任务中表现优异，平均内存使用为 18 GB，功耗为 180 W，总能耗为 1.02 kWh/500 张图像（每张图像 0.002 kWh），能够在 1.5 小时内仅用 36 张田间样本生成 500 张合成图像。我们的结果表明 SD3.5M 具备高效生成作物病害数据的能力。
引用
@article{arxiv.2505.01823,
title = {PhytoSynth: Leveraging Multi-modal Generative Models for Crop Disease Data Generation with Novel Benchmarking and Prompt Engineering Approach},
author = {Nitin Rai and Arnold W. Schumann and Nathan Boyd},
journal= {arXiv preprint arXiv:2505.01823},
year = {2025}
}