面向高光谱图像分类的多光谱基础模型参数高效微调
计算机视觉与模式识别
2025-05-22 v1
摘要
基础模型在各类领域取得了巨大成功，包括遥感领域，得益于其灵活性和强大泛化能力。然而，大多数遥感基础模型设计用于多光谱数据，而高光谱图像 (HSI) —— 由于拥有数百个光谱波段 —— 仍被较少探索。针对下游任务进行微调也颇具挑战，往往需要大量内存和存储。本文提出了一个高效框架，用于微调面向多光谱数据的基础模型 SpectralGPT，以进行高光谱图像分类 (HSIC)。我们探索了多种参数高效微调 (PEFT) 方法，包括低秩适配 (LoRA)、Kronecker 基于适配 (KronA)、低秩 Kronecker (LoKr) 以及最新 LoRA+，后者为比例因子 lambda 缩放的低秩适配器使用不同的学习率。灵感来自 LoRA+，我们引入 KronA+，其对 Kronecker 矩阵应用类似机制。我们在来自不同传感器的五个数据集上评估了该方法，显示出与最新 HSI 模型相当的竞争性能。我们的 SpectralGPT 全参数微调 (FFT) 方案在某些数据集上甚至超过专为高光谱设计的基础模型，同时只需四分之一的训练时数。在相同训练时数下，KronA+ 采用极少的可训练参数 —— 仅 0.056% —— 即可达到相似性能，并仅增加约 0.2MB 的存储，成为测试中最有效的 PEFT 方法。
引用
@article{arxiv.2505.15334,
title = {Parameter-Efficient Fine-Tuning of Multispectral Foundation Models for Hyperspectral Image Classification},
author = {Bernardin Ligan and Khalide Jbilou and Fahd Kalloubi and Ahmed Ratnani},
journal= {arXiv preprint arXiv:2505.15334},
year = {2025}
}
备注
33 pages, 14 figures