基于最优传输适配器调优的few-shot遥感场景分类中跨模态鸿沟的构建
计算机视觉与模式识别
2025-03-20 v1
摘要
Few-Shot Remote Sensing Scene Classification（FS-RSSC）面临着对带有有限标记样本的遥感图像进行分类的挑战。现有方法通常侧重单模态特征学习，忽视了优化多模态表征潜在益处的可能性。为此，我们提出了一种新的最优传输适配器调优（Optimal Transport Adapter Tuning, OTAT）框架，旨在通过最优传输（OT）理论构建理想的柏拉图表征空间。该框架旨在将丰富的视觉信息与较稀疏的文本线索进行和谐，实现有效的跨模态信息传递与互补。该方法的核心是最优传输适配器（Optimal Transport Adapter, OTA），它采用跨模态注意力机制来丰富文本表征，促进后续更好的信息互动。通过将网络优化转化为OT优化问题，OTA为模态之间建立高效的信息交换路径。此外，我们引入了样本级熵感加权（Entropy-Aware Weighted, EAW）损失函数，将难度加权相似度得分与熵基正则化相结合。该损失函数对OT优化过程提供更细致的控制，增强了其可求解性和稳定性。我们的框架为远程感知应用中多模态学习提供了可扩展且高效的解决方案。在基准数据集上的广泛实验表明，OTAT在FS-RSSC中实现了状态-of-the-art性能，显著提升了模型性能和泛化能力。
引用
@article{arxiv.2503.14938,
title = {Optimal Transport Adapter Tuning for Bridging Modality Gaps in Few-Shot Remote Sensing Scene Classification},
author = {Zhong Ji and Ci Liu and Jingren Liu and Chen Tang and Yanwei Pang and Xuelong Li},
journal= {arXiv preprint arXiv:2503.14938},
year = {2025}
}