CrossEarth-Gate:面向遥感语义分割的Fisher引导自适应调谐引擎
计算机视觉与模式识别
2025-11-27 v2
摘要
在遥感领域,参数高效微调(PEFT)已成为激活基础模型通用表示能力以适应下游任务的关键方法。然而,现有专门的PEFT方法往往难以应用于大规模地球观测任务,因其无法完全处理遥感数据固有的多层次且不可预测的域间差异(如空间、语义和频率偏移)。为此,我们提出CrossEarth-Gate,引入两个主要贡献:首先,建立一个综合的遥感模块工具箱,以解决多层次域间差异,包括空间、语义和频率模块;其次,开发一个基于Fisher信息的自适应选择机制,依据该工具箱运作。该选择通过Fisher信息引导,量化每个模块对任务特定梯度流的贡献,从而动态激活最关键的模块在适当的层次,引导梯度流以最大化适应效果和效率。全面的实验验证了我们方法的有效性和通用性,其中CrossEarth-Gate在遥感语义分割的16个跨域基准测试中实现了最先进的性能。该工作的代码将发布。
引用
@article{arxiv.2511.20302,
title = {CrossEarth-Gate: Fisher-Guided Adaptive Tuning Engine for Efficient Adaptation of Cross-Domain Remote Sensing Semantic Segmentation},
author = {Shilei Cao and Ziyang Gong and Hehai Lin and Yang Liu and Jiashun Cheng and Xiaoxing Hu and Haoyuan Liang and Guowen Li and Chengwei Qin and Hong Cheng and Xue Yang and Juepeng Zheng and Haohuan Fu},
journal= {arXiv preprint arXiv:2511.20302},
year = {2025}
}