BirdSAT：用于鸟类物种分类与制图的跨视角对比掩码自编码器
计算机视觉与模式识别
2023-10-31 v1
摘要
我们提出一种元数据感知的自监督学习~(SSL)~框架，可用于全球鸟类物种的细粒度分类与生态制图。我们的框架统一了两种 SSL 策略：对比学习~(CL) 与掩码图像建模~(MIM)，同时利用鸟类地面影像所附带的元数据丰富嵌入空间。我们在一个新颖的跨视角全球鸟类物种数据集上分别训练单模态与跨模态 ViT，该数据集包含地面影像、元数据（位置、时间）及相应的卫星影像。我们通过两项下游任务——细粒度视觉分类~(FGVC) 与跨模态检索——证明我们的模型学到了鸟类的细粒度及地理条件特征。使用我们框架预训练的模型在 iNAT-2021 鸟类 FGVC 上取得了 SotA 性能，并在 CUB-200-2011 与 NABirds 数据集的迁移学习设定中同样表现优异。此外，我们模型出色的跨模态检索性能使得在任何地理区域生成物种分布图成为可能。数据集与源代码将于 https://github.com/mvrl/BirdSAT 发布。
引用
@article{arxiv.2310.19168,
title = {BirdSAT: Cross-View Contrastive Masked Autoencoders for Bird Species Classification and Mapping},
author = {Srikumar Sastry and Subash Khanal and Aayush Dhakal and Di Huang and Nathan Jacobs},
journal= {arXiv preprint arXiv:2310.19168},
year = {2023}
}
备注
Accepted at WACV 2024