中文开放指令通才：初步发布
计算与语言
2023-04-26 v4 人工智能
摘要
指令微调被广泛认为是构建通才语言模型的关键技术，随着 InstructGPT 和 ChatGPT 的发布，它已引起研究人员和公众的注意。尽管面向英语的大规模语言模型（LLM）取得了令人印象深刻的进展，但基于英语的基础 LLM 在经过精心设计的指令微调后是否能在多语言任务上表现出与英语任务相似的能力，以及我们如何构建微调所需的语料库，仍未被充分探索。为弥补这一空白，我们提出该项目，尝试通过适应 4 个子任务内在特征的多种方法来创建中文指令数据集。我们收集了约 20 万条中文指令微调样本，并经过人工检查以保证高质量。我们还总结了现有的英文和中文指令语料库，并简要描述了新构建的中文指令语料库的一些潜在应用。由此产生的\textbf{中}\textbf{文}\textbf{开}\textbf{放}\textbf{指}\textbf{令}\textbf{通}\textbf{才}（\textbf{COIG}）语料库已在 Huggingface 和 Github 上发布，并将持续更新。
引用
@article{arxiv.2304.07987,
title = {Chinese Open Instruction Generalist: A Preliminary Release},
author = {Ge Zhang and Yemin Shi and Ruibo Liu and Ruibin Yuan and Yizhi Li and Siwei Dong and Yu Shu and Zhaoqun Li and Zekun Wang and Chenghua Lin and Wenhao Huang and Jie Fu},
journal= {arXiv preprint arXiv:2304.07987},
year = {2023}
}