Typhoon：泰语大语言模型
计算与语言
2023-12-22 v1 人工智能
摘要
Typhoon 是一系列专为泰语开发的泰语大语言模型（LLM）。本技术报告介绍了开发泰语 LLM 的挑战与见解，包括数据准备、预训练、指令微调与评估。由于低资源语言面临的挑战之一是预训练数据量不足，我们应用持续训练来迁移现有强大 LLM 中的世界知识。为评估预训练阶段各模型所包含的泰语知识，我们开发了 ThaiExam，这是一个基于泰国高中生和投资专业人士考试内容的基准。此外，我们对 Typhoon 进行微调以遵循泰语指令，并在泰语指令数据集以及翻译、摘要和问答任务上评估了指令微调模型。在一系列泰语基准上的实验结果表明，Typhoon 优于所有开源泰语语言模型，其泰语性能与 GPT-3.5 相当，且仅拥有 70 亿参数，在泰语文本的分词效率上提高了 2.62 倍。
引用
@article{arxiv.2312.13951,
title = {Typhoon: Thai Large Language Models},
author = {Kunat Pipatanakul and Phatrasek Jirabovonvisut and Potsawee Manakul and Sittipong Sripaisarnmongkol and Ruangsak Patomwong and Pathomporn Chokchainant and Kasima Tharnpipitchai},
journal= {arXiv preprint arXiv:2312.13951},
year = {2023}
}
备注
technical report, 12 pages