非侵入式适配:以输入为中心的参数高效微调用于通用多模态建模
计算与语言
2023-10-19 v1 人工智能
计算机视觉与模式识别
机器学习
多媒体
摘要
大语言模型(LLMs)与视觉语言模型(VLMs)通过将参数规模从 O(10^9) 提升到 O(10^{12}) 乃至更高,在广泛任务上展现出优异性能。如此大的规模使得针对感兴趣的任务适配并部署完全专用模型变得不可能。参数高效微调(PEFT)作为解决此类大模型适配与服务挑战的有前景方向而出现。我们将 PEFT 技术分为两类:侵入式与非侵入式。侵入式 PEFT 技术直接改变模型的内部架构。尽管更灵活,它们为训练与服务引入了显著复杂性。非侵入式 PEFT 技术保持内部架构不变,仅适配模型外部参数,例如输入的嵌入。本工作中,我们描述 AdaLink 作为一种非侵入式 PEFT 技术,在各种任务上取得与 SoTA 侵入式 PEFT (LoRA) 及全模型微调(FT)相竞争的性能。我们使用纯文本与多模态任务进行评估,实验考虑了参数规模缩放与训练机制(有和无指令微调)。
引用
@article{arxiv.2310.12100,
title = {Non-Intrusive Adaptation: Input-Centric Parameter-efficient Fine-Tuning for Versatile Multimodal Modeling},
author = {Yaqing Wang and Jialin Wu and Tanmaya Dabral and Jiageng Zhang and Geoff Brown and Chun-Ta Lu and Frederick Liu and Yi Liang and Bo Pang and Michael Bendersky and Radu Soricut},
journal= {arXiv preprint arXiv:2310.12100},
year = {2023}
}