FishAI 2.0：基于多模态少样本学习的海洋鱼类图像分类
计算机视觉与模式识别
2025-09-30 v1
摘要
传统的海洋生物图像识别面临数据集不完整和模型准确率不满意的挑战，尤其在稀有物种的少样本条件下，数据稀缺显著削弱模型性能。为此，本研究提出一种智能海洋鱼类识别框架FishAI 2.0，将多模态少样本深度学习技术与图像生成集成用于数据增强。首先，利用提供后续模型训练全面数据基础的层次化海洋鱼类基准数据集训练FishAI 2.0模型。为解决稀有类别的数据稀缺问题，采用大型语言模型DeepSeek生成高质量文本描述，输入Stable Diffusion 2通过层次化扩散策略提取潜在编码构建多模态特征空间进行图像增强。然后，将增强后的视觉-文本数据集输入基于CLIP的模型，实现稳健的少样本图像识别。实验结果表明，FishAI 2.0在目的字符串级别实现91.67%的Top-1准确率和97.97%的Top-5准确率，显著优于基线CLIP和ViT模型，在训练样本不足10个的少数类别上表现优势显著。为了更好地将FishAI 2.0应用于实际场景，FishAI 2.0分别在属和种级别实现87.58%和85.42%的Top-1准确率，显示出实际效用。总之，FishAI 2.0提高了海洋鱼类识别的效率和准确率，为海洋生态监测和保护提供了可扩展的技术解决方案，凸显了其科学价值和实际应用前景。
引用
@article{arxiv.2509.22930,
title = {FishAI 2.0: Marine Fish Image Classification with Multi-modal Few-shot Learning},
author = {Chenghan Yang and Peng Zhou and Dong-Sheng Zhang and Yueyun Wang and Hong-Bin Shen and Xiaoyong Pan},
journal= {arXiv preprint arXiv:2509.22930},
year = {2025}
}