论向机器翻译中的语埃脚本语言隐式标准的反对意见：基于 Ge'ez 脚本的同音归一化
计算与语言
2025-07-22 v1 人工智能
摘要
同音归一化是指将在书写脚本中发音相同的字符映射到单个字符，这是阿姆哈拉自然语言处理文献中应用的预处理步骤。虽然这可能提高自动度量报告的性能，但也导致模型无法理解同一语言中不同书写形式。此外，这可能对迁移学习产生影响，即在归一化数据上训练的模型对其他语言的泛化能力较差。本文通过对单语训练和跨语迁移进行实验，来了解归一化对使用 Ge'ez 脚本语言的影响。我们随后提出一种在模型预测后应用归一化的后推理干预方法。通过我们的简单后推理归一化方案，我们表明可以在保持训练数据语言特征的同时，实现最高可达 1.03 的 BLEU 分数提升。我们的工作促进了技术促进语言变迁的讨论，并呼吁更多语言敏感的干预措施。
引用
@article{arxiv.2507.15142,
title = {A Case Against Implicit Standards: Homophone Normalization in Machine Translation for Languages that use the Ge'ez Script},
author = {Hellina Hailu Nigatu and Atnafu Lambebo Tonja and Henok Biadglign Ademtew and Hizkel Mitiku Alemayehu and Negasi Haile Abadi and Tadesse Destaw Belay and Seid Muhie Yimam},
journal= {arXiv preprint arXiv:2507.15142},
year = {2025}
}
备注
Paper under review