IGLUE：跨模态、跨任务与跨语言的迁移学习基准
计算与语言
2022-07-19 v2 计算机视觉与模式识别
摘要
为可复现性和完备性而设计的可靠评估基准推动了机器学习的进展。然而，由于缺乏多语言基准，视觉与语言研究主要聚焦于英语任务。为填补这一空白，我们引入了图像接地语言理解评估基准（IGLUE）。IGLUE 通过聚合已有数据集并创建新数据集，将视觉问答、跨模态检索、接地推理和接地蕴含任务汇集于 20 种多样语言之中。我们的基准支持对多语言多模态模型在迁移学习下的评估，不仅在零样本设定下，也在新定义的少样本学习设定下。基于对现有最先进模型的评估，我们发现翻译-测试迁移优于零样本迁移，且少样本学习难以在许多任务中发挥作用。此外，下游性能部分由预训练可用未标注文本数据量解释，而仅由目标-源语言类型学距离微弱解释。我们希望通过向社区发布该基准来鼓励未来在此领域的科研工作。
引用
@article{arxiv.2201.11732,
title = {IGLUE: A Benchmark for Transfer Learning across Modalities, Tasks, and Languages},
author = {Emanuele Bugliarello and Fangyu Liu and Jonas Pfeiffer and Siva Reddy and Desmond Elliott and Edoardo Maria Ponti and Ivan Vulić},
journal= {arXiv preprint arXiv:2201.11732},
year = {2022}
}
备注
ICML 2022