神经目录：通过 Catalog of Life 增强生成扩展鸟类物种识别
计算机视觉与模式识别
2025-10-01 v2
摘要
开放词汇鸟类物种识别是计算机视觉中的重要挑战，尤其在鸟类学领域，因为新的生物 taxon 不断被发现。虽然 CUB-200-2011 和 Birdsnap 等基准数据集在封闭词汇下推动了精细识别，但未能满足现实场景。我们指出当前系统在现实开放词汇环境下（涉及数千候选物种）会出现30%以上的性能下降，主要由于大量视觉上相似且语义模糊的干扰项。为此，我们提出了 Visual Re-ranking Retrieval-Augmented Generation (VR-RAG) 框架，将结构化百科知识与识别结合。我们将 11,202 种鸟类维基百科文章蒸馏为简洁且具辨识度的摘要，并从中检索候选物种。不同于以往仅基于文本的方法，VR-RAG 在检索过程中融入视觉信息，确保最终预测既在文本上相关，又在视觉上与查询图像一致。广泛实验表明，VR-RAG 将最新进展的 Qwen2.5-VL 模型性能提升了 18.0%。
引用
@article{arxiv.2505.05635,
title = {Neural Catalog: Scaling Species Recognition with Catalog of Life-Augmented Generation},
author = {Faizan Farooq Khan and Jun Chen and Youssef Mohamed and Chun-Mei Feng and Mohamed Elhoseiny},
journal= {arXiv preprint arXiv:2505.05635},
year = {2025}
}
备注
2 figures