面向文化感知的机器翻译基准评测
计算与语言
2024-10-22 v3
摘要
翻译文化相关内容对有效的跨文化交流至关重要。然而，许多文化特定项（CSIs）常缺乏跨语言的可行译法，使得收集带 CSI 标注的高质量、多样化平行语料库颇具挑战。这一困难阻碍了对机器翻译（MT）系统（包括传统神经 MT 与新兴的基于大语言模型（LLM）的 MT 范式）文化感知能力的分析。为弥补此缺口，我们引入一个新颖的平行语料库，富含 6 个语言对的 CSI 标注，用于研究文化感知机器翻译——CAMT。此外，我们设计两种评测指标以评估 CSI 翻译，聚焦其语用翻译质量。我们的发现显示，LLM 在利用外部文化知识翻译 CSI（尤其是目标文化中缺乏对应译法的那些）方面优于神经 MT。
引用
@article{arxiv.2305.14328,
title = {Benchmarking Machine Translation with Cultural Awareness},
author = {Binwei Yao and Ming Jiang and Tara Bobinac and Diyi Yang and Junjie Hu},
journal= {arXiv preprint arXiv:2305.14328},
year = {2024}
}