利用野外指南识别未见过的鸟类物种
计算机视觉与模式识别
2023-11-06 v2 机器学习
摘要
我们利用野外指南来学习鸟类物种识别，特别是未见物种的零样本识别。野外指南中的插图刻意聚焦于每个物种的判别性特征，可作为辅助信息将知识从已见鸟类物种迁移到未见鸟类物种。我们研究了两种方法：(1) 插图的对比编码，可输入标准零样本学习框架；(2) 一种新方法，利用插图本身也是图像、因此在结构上比其他辅助信息更类似于照片这一事实。我们的结果表明，野外指南中的插图（可广泛获取大量物种）确实是零样本学习中具有竞争力的辅助信息来源。在 iNaturalist2021 数据集的一个子集上（749 个已见物种和 739 个未见物种），我们对未见鸟类物种的分类准确率在 top-1 达到 、在 top-10 达到 ，展示了野外指南在具有众多物种的挑战性真实场景中的潜力。我们的代码见 https://github.com/ac-rodriguez/zsl_billow
引用
@article{arxiv.2206.01466,
title = {Recognition of Unseen Bird Species by Learning from Field Guides},
author = {Andrés C. Rodríguez and Stefano D'Aronco and Rodrigo Caye Daudt and Jan D. Wegner and Konrad Schindler},
journal= {arXiv preprint arXiv:2206.01466},
year = {2023}
}
备注
Accepted to WACV2024