对比地面图像和遥感图像的预训练提高自然世界图像的表征学习
计算机视觉与模式识别
2024-10-01 v1
摘要
多模态图像-文本对比学习已表明，跨模态可以学习到联合表征。本文展示了如何利用对比学习处理多视图图像数据，可即使缺少一种视图，也能提高针对物种识别的下游细粒度分类性能。我们提出了对比性地面图像和遥感图像预训练方法（ContRastive Image-remote Sensing Pre-training, CRISP），这是一种用于自然世界地面图像和航空图像表征学习的新型预训练任务，并引入了自然多视图数据集（Nature Multi-View, NMV），该数据集包含超过300万张地面图像和航空图像对，覆盖超过6000种植物科，涵盖加州这个生态上高度多样性的州。NMV数据集及其附带材料可在 hf.co/datasets/andyvhuynh/NatureMultiView 访问。
引用
@article{arxiv.2409.19439,
title = {Contrastive ground-level image and remote sensing pre-training improves representation learning for natural world imagery},
author = {Andy V. Huynh and Lauren E. Gillespie and Jael Lopez-Saucedo and Claire Tang and Rohan Sikand and Moisés Expósito-Alonso},
journal= {arXiv preprint arXiv:2409.19439},
year = {2024}
}
备注
Accepted to ECCV 2024