神经机器翻译可解释性进阶：注意力与对齐一致性的分析指标
人工智能
2024-12-30 v1 计算与语言
摘要
神经机器翻译（NMT）模型虽在性能上取得显著进步，但在决策过程透明性方面仍存薄弱环节。尤其是其内部注意力机制的可解释性，对于建立信任并验证这些系统是否按预期运行至关重要。本文引入一套系统化框架，通过将注意力模式与统计对齐进行比较并与标准机器翻译质量指标相关联，来定量评估 NMT 模型注意力模式的可解释性。我们提出了注意力熵与对齐一致性等指标，并在 WMT14 英文-德语测试子集上使用预训练的 mT5 模型进行验证。实验结果表明，更锐利的注意力分布与更好的可解释性相关，但并不必然保证更优的翻译质量。这些发现推动了 NMT 可解释性的理解，并指引了未来构建更透明可靠机器翻译系统的方向。
引用
@article{arxiv.2412.18669,
title = {Advancing Explainability in Neural Machine Translation: Analytical Metrics for Attention and Alignment Consistency},
author = {Anurag Mishra},
journal= {arXiv preprint arXiv:2412.18669},
year = {2024}
}
备注
4 pages, 3 figures, research paper from the Rochester Institute of Technology, focused on explainability in Neural Machine Translation. Validated metrics using English-German data subset from WMT14 and mT5 model. Results connect attention entropy and alignment agreement with translation quality