基于频率感知低秩 Token 专家混合模型的通用多光谱地覆盖分类
计算机视觉与模式识别
2025-05-21 v1
摘要
我们提出了 Land-MoE，这是一种用于多光谱地覆盖分类 (MLCC) 的新方法。光谱位移源于传感器和地理条件之间的差异，构成了该领域的重大挑战。现有方法主要依赖于域适应和泛化策略，常使用小规模模型，性能有限。相比之下，Land-MoE 通过在 Vision Foundation Models (VFM) 中层次化插入 Frequency-aware Mixture of Low-rank Token Experts，以参数高效方式进行微调。具体而言，Land-MoE 包含两个关键模块：低秩 Token 专家混合 (MoLTE) 和频率感知滤波器 (FAF)。MoLTE 利用不同秩的 Token 生成针对多光谱图像中单个实例的多样化特征调整。通过动态组合不同秩的可学习低秩 Token 专家，它增强了对光谱位移的鲁棒性。而 FAF 则对精炼后的特征进行频率域调制。这一过程使模型能够有效捕获与语义本质强相关的频率带信息，同时抑制与任务无关的频率噪声。在涉及跨传感器和跨地理条件 setup 的 MLCC 任务上的全面实验表明，Land-MoE 以显著优于现有方法的优势表现。此外，该方法还在 RGB 遥感图像的域泛化语义分割任务中取得了最先进的性能。
引用
@article{arxiv.2505.14088,
title = {Generalizable Multispectral Land Cover Classification via Frequency-Aware Mixture of Low-Rank Token Experts},
author = {Xi Chen and Shen Yan and Juelin Zhu and Chen Chen and Yu Liu and Maojun Zhang},
journal= {arXiv preprint arXiv:2505.14088},
year = {2025}
}