ViT5：面向越南语生成的预训练文本到文本 Transformer
计算与语言
2022-05-27 v2 人工智能
摘要
我们提出 ViT5，一种针对越南语的预训练 Transformer 编码器-解码器模型。借助 T5 风格的自监督预训练，ViT5 在大规模高质量且多样的越南语文本语料库上进行训练。我们在两个下游文本生成任务上基准测试 ViT5：抽象文本摘要和命名实体识别。尽管抽象文本摘要因英语拥有丰富且大规模的数据来源而被广泛研究，但对于资源稀缺得多的越南语，同一任务的研究极少。在本工作中，我们对越南语抽象摘要和命名实体识别进行了详尽实验，验证了 ViT5 相对于许多其他预训练 Transformer 编码器-解码器模型的性能。我们的实验表明，ViT5 显著优于现有模型，并在越南语文本摘要上取得了最先进结果。在命名实体识别任务上，ViT5 与先前预训练编码器式 Transformer 模型的最佳结果具有竞争力。进一步分析显示了自监督预训练期间上下文长度对不同设置下下游性能的重要性。
引用
@article{arxiv.2205.06457,
title = {ViT5: Pretrained Text-to-Text Transformer for Vietnamese Language Generation},
author = {Long Phan and Hieu Tran and Hieu Nguyen and Trieu H. Trinh},
journal= {arXiv preprint arXiv:2205.06457},
year = {2022}
}
备注
NAACL SRW 2022. arXiv admin note: text overlap with arXiv:2110.04257