BotaCLIP：基于植物学意识的地球观测数据对比学习
计算机视觉与模式识别
2026-03-10 v2 人工智能
摘要
基础模型已在图像、文本和音频等多种模态上展示出学习 rich、可迁移表示的惊人能力。在现代机器学习管道中，这些表示常常取代原始数据，作为下游任务的主要输入。本文聚焦于如何在不从头重新训练或承担显著计算成本的情况下，将预训练基础模型适配以注入领域特定知识。为此，我们引入BotaCLIP，一个轻量级多模态对比框架，通过将高分辨率航空图像与植物学 relevés 对齐来适配预训练的地球观测基础模型（DOFA）。与通用嵌入不同，BotaCLIP通过对比学习内化生态结构，并采用正则化策略缓解灾难性遗忘。训练后，生成的嵌入可作为下游预测器的可迁移表示。受现实世界生物多样性建模应用的启发，我们在三个生态任务中评估了BotaCLIP表示：植物存在预测、蝴蝶分布建模和土壤营养物种群丰度估计。结果显示，相较于DOFA和监督基线，BotaCLIP表示在所有任务中均实现了一致的性能提升。更广泛地说，本工作说明了如何通过领域感知的基础模型适配可将专家知识注入数据稀缺的场景中，实现保守的表示学习。
引用
@article{arxiv.2511.21194,
title = {BotaCLIP: Contrastive Learning for Botany-Aware Representation of Earth Observation Data},
author = {Selene Cerna and Sara Si-Moussi and Wilfried Thuiller and Hadrien Hendrikx and Vincent Miele},
journal= {arXiv preprint arXiv:2511.21194},
year = {2026}
}