BARTpho：面向越南语的预训练序列到序列模型
计算与语言
2022-06-28 v3
摘要
我们提出具有两个版本的BARTpho，即BARTpho-syllable和BARTpho-word，它们是首个公开的大规模单语越南语预训练序列到序列模型。BARTpho采用序列到序列去噪自编码器BART的“large”架构与预训练方案，因此特别适用于生成式NLP任务。我们开展实验将我们的BARTpho与其竞品mBART在越南语文本摘要这一下游任务上进行比较，结果表明：在自动与人工评估中，BARTpho均优于强基线mBART并提升了当前最优水平。我们进一步在越南语大小写恢复与标点恢复任务上评估并比较BARTpho与mBART，同样发现BARTpho在这两个任务上比mBART更有效。我们公开发布BARTpho以促进生成式越南语NLP任务的未来研究与应用。我们的BARTpho模型可在 https://github.com/VinAIResearch/BARTpho 获取。
引用
@article{arxiv.2109.09701,
title = {BARTpho: Pre-trained Sequence-to-Sequence Models for Vietnamese},
author = {Nguyen Luong Tran and Duong Minh Le and Dat Quoc Nguyen},
journal= {arXiv preprint arXiv:2109.09701},
year = {2022}
}
备注
In Proceedings of INTERSPEECH 2022 (to appear)