WildSAT：从野生动物观测学习卫星图像表示
计算机视觉与模式识别
2025-08-11 v2 机器学习
定量方法
摘要
物种分布编码了宝贵的生态和环境信息，然而它们在指导遥感表示学习方面的潜力尚未得到充分探索。我们提出WildSAT，它将卫星图像与公民科学平台上可获得的数百万地理标记的野生动物观测数据配对。WildSAT采用对比学习方法，联合利用卫星图像、物种出现图和文本栖息地描述来训练或微调模型。该方法显著提升了多种卫星图像识别任务的性能，优于ImageNet预训练模型和卫星特定基线。此外，通过对齐视觉和文本信息，WildSAT实现了零样本检索，允许用户基于文本描述搜索地理位置。WildSAT超越了最近的跨模态学习方法，包括将卫星图像与地面图像或野生动物照片对齐的方法，展示了我们方法的优势。最后，我们分析了关键设计选择的影响，并强调了WildSAT在遥感和生物多样性监测中的广泛适用性。
引用
@article{arxiv.2412.14428,
title = {WildSAT: Learning Satellite Image Representations from Wildlife Observations},
author = {Rangel Daroya and Elijah Cole and Oisin Mac Aodha and Grant Van Horn and Subhransu Maji},
journal= {arXiv preprint arXiv:2412.14428},
year = {2025}
}