跨语言视觉问答中的翻译制造的 artifact 分析
计算与语言
2024-06-05 v1
摘要
构建可靠的跨语言视觉问答~(VQA)系统是一个具有挑战性的问题，主要由于训练样本稀缺。为此，近期研究采用机器翻译系统用于跨语言 VQA 任务。这涉及将评估样本翻译成源语言(通常为英语)，并使用单语言模型(即翻译测试)。然而，我们的分析揭示，翻译文本与人类书写文本具有独特特征，称为翻译制造的 artifact。我们通过在不同模型、语言和翻译过程下的大量实验确认，这些 artifact 对模型影响显著。鉴于此，我们提出一种简单的数据增强策略，可缓解翻译制造的 artifact 的不利影响。
关键词
引用
@article{arxiv.2406.02331,
title = {Translation Deserves Better: Analyzing Translation Artifacts in Cross-lingual Visual Question Answering},
author = {ChaeHun Park and Koanho Lee and Hyesu Lim and Jaeseok Kim and Junmo Park and Yu-Jung Heo and Du-Seong Chang and Jaegul Choo},
journal= {arXiv preprint arXiv:2406.02331},
year = {2024}
}
备注
ACL 2024 Findings Accepted