KIT-19：用于微调韩语大型语言模型的 19 任务综合韩语指令工具包
计算与语言
2024-03-26 v1
摘要
指令微调是大型语言模型在特定任务中良好运行并取得高性能的关键过程。因此，在英语等主流语言中，基于指令的数据集正在被构建并公开可用。就韩语而言，公开可用的模型和数据集均依赖于使用 ChatGPT 的输出或翻译基于英语构建的数据集。在本文中，我们引入 KIT-19 作为用于开发韩语 LLM 的指令数据集。KIT-19 是一个以指令格式创建的数据集，包含 19 个现有的韩语 NLP 任务开源数据集。在本文中，我们使用 KIT-19 训练了一个韩语预训练 LLM，以证明其有效性。实验结果表明，在 KIT-19 上训练的模型显著优于现有的韩语 LLM。基于其质量和实证结果，本文提出 KIT-19 有潜力为未来韩语 LLM 性能的提升做出实质性贡献。
引用
@article{arxiv.2403.16444,
title = {KIT-19: A Comprehensive Korean Instruction Toolkit on 19 Tasks for Fine-Tuning Korean Large Language Models},
author = {Dongjun Jang and Sungjoo Byun and Hyemi Jo and Hyopil Shin},
journal= {arXiv preprint arXiv:2403.16444},
year = {2024}
}