穿越多模态景观：基于低秩序列多模态适配器的高效迁移学习
机器学习
2024-12-13 v1 计算机视觉与模式识别
摘要
高效的迁移学习方法（如基于适配器的方法）已在单模态模型和视觉-语言模型中取得了巨大成功。然而，现有方法在微调多模态模型时面临两个主要挑战。首先，它们是为视觉-语言任务设计的，难以扩展到超过两种模态的场景。其次，它们对模态间交互的利用有限且效率低下。为解决这些问题，本文提出了低秩序列多模态适配器（Wander）。我们首先利用外积以逐元素的方式有效融合不同模态的信息。为了提高效率，我们使用CP分解将张量分解为秩一分量，从而实现显著的参数缩减。此外，我们实现了令牌级低秩分解，以提取更细粒度的特征和模态间的序列关系。通过这些设计，Wander能够以参数高效的方式实现不同模态序列间的令牌级交互。我们在具有不同模态数量的数据集上进行了大量实验，Wander始终优于最先进的迁移学习方法。结果充分证明了Wander的有效性、高效性和通用性。
引用
@article{arxiv.2412.08979,
title = {A Wander Through the Multimodal Landscape: Efficient Transfer Learning via Low-rank Sequence Multimodal Adapter},
author = {Zirun Guo and Xize Cheng and Yangyang Wu and Tao Jin},
journal= {arXiv preprint arXiv:2412.08979},
year = {2024}
}
备注
Accepted at AAAI 2025