FungalZSL: 基于合成数据方法的图像描述生成零样种子菌类分类
计算机视觉与模式识别
2025-02-27 v1
摘要
大型视觉语言模型（如对比语言-图像预训练（CLIP））的零样分类效果取决于获取大量且充分对齐的文本-图像数据集。本文引入两种互补数据源：一种由大型语言模型（LLM）生成用于描述菌类生长阶段，另一种包含多样化合成菌类图像。这两套数据集旨在增强 CLIP 在菌类相关任务中的零样分类能力。为确保文本与图像数据之间的有效对齐，我们将其投影到 CLIP 的共享表示空间中，聚焦于不同的菌类生长阶段。我们使用 LLaMA3.2 生成文本以弥合模态差距，并合成菌类图像。此外，我们通过比较不同 LLM 技术的文本输出来探讨知识迁移，以细化跨生长阶段的分类。
引用
@article{arxiv.2502.19038,
title = {FungalZSL: Zero-Shot Fungal Classification with Image Captioning Using a Synthetic Data Approach},
author = {Anju Rani and Daniel O. Arroyo and Petar Durdevic},
journal= {arXiv preprint arXiv:2502.19038},
year = {2025}
}
备注
11 pages, 5 Figures, 1 Table