EBBS：一种基于双层束搜索的零样本机器翻译集成方法
计算与语言
2025-02-07 v2 人工智能
机器学习
摘要
当我们用某些翻译方向训练多语言模型时，零样本翻译能力会涌现；该模型随后可以直接翻译未见过的方向。或者，零样本翻译可以通过以第三种语言（如英语）为枢轴来实现。在我们的工作中，我们观察到直接翻译和枢轴翻译都有噪声且性能欠佳。我们提出EBBS，一种带有新颖双层束搜索算法的集成方法，其中每个集成组件在低层逐步探索自己的预测，但在高层通过“软投票”机制同步。在两个流行的多语言翻译数据集上的结果表明，EBBS始终优于直接翻译、枢轴翻译以及现有的集成技术。此外，我们可以将集成的知识蒸馏回多语言模型以提高推理效率；值得注意的是，我们基于EBBS的蒸馏不会牺牲甚至能提高翻译质量。
引用
@article{arxiv.2403.00144,
title = {EBBS: An Ensemble with Bi-Level Beam Search for Zero-Shot Machine Translation},
author = {Yuqiao Wen and Behzad Shayegh and Chenyang Huang and Yanshuai Cao and Lili Mou},
journal= {arXiv preprint arXiv:2403.00144},
year = {2025}
}
备注
Accepted by AAAI 2025