利用栖息地信息进行细粒度鸟类识别
计算机视觉与模式识别
2025-05-23 v3
摘要
传统的鸟类分类器大多依赖鸟类的视觉特征。一些先前的工作甚至训练分类器对背景保持不变性，完全舍弃了鸟类的生活环境。相反，我们是首个探索将栖息地信息（鸟类学家识别鸟类的四大线索之一）整合到现代鸟类分类器中的研究。我们聚焦于两种领先的模型类型：(1) 在下游鸟类数据集上训练的 CNN 和 ViT；以及 (2) 原始的多模态 CLIP。使用栖息地增强数据训练 CNN 和 ViT 分别在 NABirds 和 CUB-200 上带来了高达 +0.83 和 +0.23 个点的提升。类似地，将栖息地描述符添加到 CLIP 的提示中，分别在 NABirds 和 CUB-200 上带来了高达 +0.99 和 +1.1 个点的准确率提升。我们发现，在将栖息地特征整合到图像增强过程以及视觉-语言 CLIP 分类器的文本描述符中后，准确率均获得了一致的提升。代码可在以下地址获取：https://anonymous.4open.science/r/reasoning-8B7E/。
引用
@article{arxiv.2312.14999,
title = {Leveraging Habitat Information for Fine-grained Bird Identification},
author = {Tin Nguyen and Peijie Chen and Anh Totti Nguyen},
journal= {arXiv preprint arXiv:2312.14999},
year = {2025}
}