面向生成式多模态预训练模型的提示微调
计算与语言
2022-08-05 v1
摘要
提示微调已成为模型微调的新范式，并在自然语言预训练乃至视觉预训练中展现出成功。本工作中，我们将提示微调迁移至多模态预训练，聚焦于生成式多模态预训练模型，而非对比式模型。具体而言，我们在适应理解与生成任务的统一序列到序列预训练模型上实现提示微调。实验结果表明，轻量级提示微调可取得与微调相当的性能，并超越其他轻量级调优方法。此外，与微调模型相比，提示微调模型对对抗攻击表现出更强的鲁棒性。我们进一步发现实验因素（包括提示长度、提示深度与重参数化）对模型性能有重大影响，从而通过经验为提示微调的设置提供建议。尽管观察到上述优势，我们仍发现提示微调的一些局限，并相应指出未来研究的方向。代码见 \url{https://github.com/OFA-Sys/OFA}。
引用
@article{arxiv.2208.02532,
title = {Prompt Tuning for Generative Multimodal Pretrained Models},
author = {Hao Yang and Junyang Lin and An Yang and Peng Wang and Chang Zhou and Hongxia Yang},
journal= {arXiv preprint arXiv:2208.02532},
year = {2022}
}
备注
Work in progress