面向多语言视觉问答的课程式文字系统蒸馏
计算与语言
2023-01-19 v1
摘要
具有双编码器和交叉编码器的预训练模型在推动视觉问答(VQA)中视觉与语言若干任务的进展方面取得了显著成功。然而，由于它们受限于金标注数据的需求，这些进展大多未能在英语以外的其它语言中付诸应用。我们旨在通过引入一种基于源语言与目标语言翻译的课程来微调预训练模型以用于下游任务，从而解决该问题。实验结果表明，文字系统在这些模型性能中起着至关重要的作用。具体而言，我们展示了共享相同文字系统的目标语言比较其它语言表现更好(~6%)，而混合文字系统的语码转换语言比其对应语言表现更好(~5-12%)。
引用
@article{arxiv.2301.07227,
title = {Curriculum Script Distillation for Multilingual Visual Question Answering},
author = {Khyathi Raghavi Chandu and Alborz Geramifard},
journal= {arXiv preprint arXiv:2301.07227},
year = {2023}
}