一种新颖的自适应微调算法用于多模态模型：远程感知中高质量数据集的分类与选择
计算机视觉与模式识别
2024-09-23 v1 人工智能
摘要
我们提出了一种用于多模态大模型的自适应微调算法。该算法的核心步骤涉及两个阶段的截断。首先，将大量数据投影到语义向量空间中，并使用 MiniBatchKMeans 算法进行自动聚类。这种分类确保了每个聚类内部的数据在语义上高度相似。接下来，我们处理每个聚类中的数据，计算原始数据与扰动数据在多模态大模型向量空间中的平行差异。该差异作为数据的概括度度指标。基于该指标，我们挑选具有高概括潜力的数据用于训练。我们将该算法应用于在两块 3090 GPU 上使用 GeoChat 多模态遥感数据集的三分之一进行训练。结果表明，我们的算法在各种遥感基准上均优于最先进的基准方法。实验验证表明，基于我们优化选择的三分之一数据集训练的模型，在各种遥感指标上仅比在完整数据集上训练的模型性能下降约 1%。该方法在显著减少训练时间（降低 68.2%）的同时，有效保留了通用能力。此外，该模型在 UCMerced 和 AID 评估数据集上分别取得 89.86 和 77.19 分，超越 GeoChat 数据集 5.43 和 5.16 分。在 LRBEN 评估数据集上仅显示 0.91 分的平均下降。
引用
@article{arxiv.2409.13345,
title = {A Novel Adaptive Fine-Tuning Algorithm for Multimodal Models: Self-Optimizing Classification and Selection of High-Quality Datasets in Remote Sensing},
author = {Yi Ren and Tianyi Zhang and Zhixiong Han and Weibin Li and Zhiyang Wang and Wenbo Ji and Chenhao Qin and Chenbin Liang and Licheng Jiao},
journal= {arXiv preprint arXiv:2409.13345},
year = {2024}
}