面向中泰低资源翻译的深度 Transformer 优化
计算与语言
2022-12-27 v1
摘要
在本文中，我们研究了深度 Transformer 翻译模型在 CCMT 2022 中泰低资源机器翻译任务中的使用。我们首先针对 6 层 Transformer 的低资源场景探索了实验设置（包括 BPE 合并操作次数、dropout 概率、嵌入维度等）。考虑到增加层数也会增强对新模型参数的正则化（使用更多层时也会引入 dropout 模块），我们采用性能最高的设置，但将 Transformer 的深度增加到 24 层，以获得改进的翻译质量。我们的工作在受限评测中的中译泰翻译上取得了 SOTA 性能。
引用
@article{arxiv.2212.12662,
title = {Optimizing Deep Transformers for Chinese-Thai Low-Resource Translation},
author = {Wenjie Hao and Hongfei Xu and Lingling Mu and Hongying Zan},
journal= {arXiv preprint arXiv:2212.12662},
year = {2022}
}