什么解释了ORCA跨模态微调的成功？
计算与语言
2024-03-21 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
ORCA（Shen等人，2023）是一种最近的跨模态微调技术，即将预训练的transformer模型应用于其训练数据之外的模态。该技术主要包括训练一个嵌入器并对嵌入器和模型进行微调。尽管它在各种下游任务上表现出高性能，但我们并不精确理解这些组件中的每一个如何促成ORCA的成功。因此，我们进行了一系列消融实验，发现与原始论文所假设的相反，嵌入器训练对2D任务完全没有帮助。在1D任务中，一定量的嵌入器训练是必要的，但并非越多越好。在我们实验的6个数据集中，有4个数据集显示，模型微调才是造成最大差异的因素。通过我们的消融实验和基线比较，我们对ORCA的各个组件有了更深入的理解。
引用
@article{arxiv.2403.13537,
title = {What explains the success of cross-modal fine-tuning with ORCA?},
author = {Paloma García-de-Herreros and Vagrant Gautam and Philipp Slusallek and Dietrich Klakow and Marius Mosbach},
journal= {arXiv preprint arXiv:2403.13537},
year = {2024}
}