稀有节肢动物的分类学推理：结合密集图像描述与 RAG 实现可解释分类
计算机视觉与模式识别
2025-03-17 v1 人工智能
信息检索
机器学习
种群与进化
摘要
在紧迫的气候变化挑战和节肢动物生物多样性大量丧失的背景下，从生物图像中进行自动化分类学分类是一个激烈研究的课题。然而，基于深度神经视觉架构（如 CNN 或 ViT）的传统 AI 流程面临诸多限制，例如在长尾类别上性能下降以及无法对其预测进行推理。我们将图像描述和检索增强生成（RAG）与大型语言模型（LLM）相结合以增强生物多样性监测，展示出在表征稀有和未知节肢动物物种方面的特别前景。虽然朴素的视觉语言模型（VLM）在常见物种的图像分类中表现出色，但 RAG 模型通过将分类学特征的显式文本描述与来自外部来源的上下文生物多样性文本数据进行匹配，实现了对更稀有分类群的分类。与朴素 LLM 相比，RAG 模型在减少过度自信和提高准确性方面显示出前景，表明其在捕捉分类学层次结构细微差别方面的可行性，特别是在具有挑战性的科和属级别。我们的研究结果突出了现代视觉语言 AI 流程支持生物多样性保护倡议的潜力，强调了全面数据策展以及与公民科学平台合作的作用，以改善物种识别、未知物种表征，并最终为保护策略提供信息。
引用
@article{arxiv.2503.10886,
title = {Taxonomic Reasoning for Rare Arthropods: Combining Dense Image Captioning and RAG for Interpretable Classification},
author = {Nathaniel Lesperance and Sujeevan Ratnasingham and Graham W. Taylor},
journal= {arXiv preprint arXiv:2503.10886},
year = {2025}
}
备注
12 pages, 3 figures