Earth-Adapter：利用频率适配混合模型桥接遥感领域间的域间差异
计算机视觉与模式识别
2025-11-27 v4
摘要
参数高效微调（PEFT）是一种允许我们在保持并发挥基础模型（FMs）固有能力的同时，将其适应于各种下游任务的技术。然而，我们注意到，现有 PEFT 方法往往是针对自然图像设计的，难以应用于遥感（RS）场景。这主要源于它们无法处理特征中的干扰因素，而这在 RS 图像特征中尤为严重。为此，我们提出 Earth-Adapter，这是首个专为克服 RS 干扰因素而设计的 PEFT 方法。Earth-Adapter 引入了一种新的频率适配混合过程，将混合适配器（MoA）与离散傅里叶变换（DFT）相结合。通过利用 DFT，Earth-Adapter 可将特征分解为不同频率分量，精确地将干扰因素从原始特征中分离出来。随后，MoA 动态为每个适配器专家分配权重，实现对不同频率域特征的组合。这些简单却有效的方法使 Earth-Adapter 能够比以往 PEFT 方法更高效地克服干扰因素，显著提升了 FMs 在 RS 场景中的性能。在域适应（DA）和域泛化（DG）语义分割基准测试中实验表明，Earth-Adapter 的效果令人满意。与基线方法 Rein 相比，Earth-Adapter 在 DA 基准测试中将 mIoU 提升 9.0%，在 DG 基准测试中提升 3.1%。我们的代码将发布于 https://github.com/VisionXLab/Earth-Adapter。
引用
@article{arxiv.2504.06220,
title = {Earth-Adapter: Bridge the Geospatial Domain Gaps with Mixture of Frequency Adaptation},
author = {Xiaoxing Hu and Ziyang Gong and Yupei Wang and Yuru Jia and Fei Lin and Dexiang Gao and Ke An and Jianhong Han and Zhuoran Sun and Gen Luo and Gen Luo and Xue Yang},
journal= {arXiv preprint arXiv:2504.06220},
year = {2025}
}
备注
AAAI 2026 camera ready