PhoGPT：面向越南语的生成式预训练
计算与语言
2024-03-25 v3
摘要
我们开源了一系列最先进的 40 亿参数越南语生成模型，包括基础单语预训练模型 PhoGPT-4B 及其对话变体 PhoGPT-4B-Chat。基础模型 PhoGPT-4B 具有精确的 37 亿参数，在一个包含 1020 亿 token 的越南语语料库上从头预训练，上下文长度为 8192，采用 20480 种 token 类型的词表。对话变体 PhoGPT-4B-Chat 是通过在 7 万条指令提示及其回复的数据集以及额外的 29 万条对话上对 PhoGPT-4B 微调得到的建模输出。此外，我们还展示了其相对于先前开源模型的优越性能。我们的 PhoGPT 模型可在 https://github.com/VinAIResearch/PhoGPT 获取。
引用
@article{arxiv.2311.02945,
title = {PhoGPT: Generative Pre-training for Vietnamese},
author = {Dat Quoc Nguyen and Linh The Nguyen and Chi Tran and Dung Ngoc Nguyen and Dinh Phung and Hung Bui},
journal= {arXiv preprint arXiv:2311.02945},
year = {2024}
}
备注
PhoGPT-4B Technical Report - 5 pages