Context-PEFT：高效的多模态、多任务微调
机器学习
2023-12-15 v1
摘要
本文介绍了一种用于预训练语言模型多模态、多任务迁移学习的新型参数高效微调（PEFT）框架。诸如 LoRA、BitFit 和 IA3 等 PEFT 技术在特定的下游任务中表现出与预训练模型全量微调相当的性能，同时所需的可训练参数显著减少，GPU 内存消耗也大幅降低。然而，在多模态微调的背景下，往往需要进行架构修改或全量微调。为了解决这个问题，我们提出了 Context-PEFT，它根据 token 的领域学习不同组的适配器参数。这种方法无需额外的架构更改即可实现类似 LoRA 的权重注入。我们的方法在 COCO 图像描述任务上进行了评估，在相似的数据约束下，它优于全量微调，同时提供了一个参数效率更高且计算成本更低的解决方案。
引用
@article{arxiv.2312.08900,
title = {Context-PEFT: Efficient Multi-Modal, Multi-Task Fine-Tuning},
author = {Avelina Asada Hadji-Kyriacou and Ognjen Arandjelovic},
journal= {arXiv preprint arXiv:2312.08900},
year = {2023}
}