面向越南语社区 COVID-19 问答的生成式预训练 Transformer
计算与语言
2023-11-01 v2
摘要
近期研究提供了经验证据，表明生成式预训练 Transformer（GPT）这一预训练语言模型在自然语言处理领域具有广泛潜力。GPT 已作为解码器在最优（SOTA）问答系统中得到有效应用，在各种任务上取得卓越性能。然而，当前关于 GPT 在越南语中应用的研究仍有限。本文旨在通过呈现一个专门针对越南语中 COVID-19 相关查询的社区问答的 GPT-2 实现来填补此空白。我们通过对不同 Transformer 与 SOTA 模型在社区 COVID-19 问答数据集上的比较分析，引入了一种新方法。实验结果表明，GPT-2 模型展现出极具前景的结果，优于其他 SOTA 模型以及先前为越南语开发的社区 COVID-19 问答模型。
引用
@article{arxiv.2310.14602,
title = {Generative Pre-trained Transformer for Vietnamese Community-based COVID-19 Question Answering},
author = {Tam Minh Vo and Khiem Vinh Tran},
journal= {arXiv preprint arXiv:2310.14602},
year = {2023}
}