探究平行数据的跨语言迁移对视觉语言编码器的影响
计算与语言
2025-08-18 v2
摘要
大多数预训练视觉语言（VL）模型及其用于下游任务的训练数据仅以英文提供。因此，解决多语言 VL 任务通常采用跨语言迁移：微调多语言预训练模型或使用平行数据迁移文本编码器。我们研究了另一种方法：使用平行数据迁移已训练好的编码器。我们研究平行数据的影响：数据域和语言数量，这些因素在以前的工作中未受到关注。我们的结果表明，即使是机器翻译后的任务数据在平均情况下也是最佳的，类比式真实平行数据在某些语言上优于机器翻译数据。进一步地，我们表明大多数语言从多语言训练中受益。
引用
@article{arxiv.2504.21681,
title = {Investigating the Effect of Parallel Data in the Cross-Lingual Transfer for Vision-Language Encoders},
author = {Andrei-Alexandru Manea and Jindřich Libovický},
journal= {arXiv preprint arXiv:2504.21681},
year = {2025}
}