基于提示的模块化与参数高效多模态融合
计算与语言
2022-03-16 v1
摘要
近期研究在大规模多模态预训练方面取得了令人瞩目的进展。在模型规模快速增长的背景下，有必要寻求微调以外的高效且灵活的方法。本文提出使用提示向量来对齐各模态。我们的方法在低资源设定下取得了与其他几种多模态融合方法相当的性能。我们进一步表明，我们的方法在处理涉及两种或更多数据模态的任务时是模块化且参数高效的。
引用
@article{arxiv.2203.08055,
title = {Modular and Parameter-Efficient Multimodal Fusion with Prompting},
author = {Sheng Liang and Mengjie Zhao and Hinrich Schütze},
journal= {arXiv preprint arXiv:2203.08055},
year = {2022}
}
备注
Accepted to Findings of ACL 2022