或许仅需 0.5% 数据：低训练数据指令微调的初步探索
人工智能
2023-05-17 v1 计算与语言
摘要
大语言模型（LLMs）的指令微调因能释放 LLMs 遵循指令的潜力而受到研究者关注。虽然指令微调作为一种微调方法有助于大语言模型（LLMs）适配下游任务，但在大量数据上训练数千万乃至数十亿参数的模型会带来难以承受的计算成本。为此，我们聚焦于减少 LLM 指令微调所用数据以降低训练成本并提升数据效率，称为低训练数据指令微调（LTD Instruction Tuning）。具体而言，本文对减少 LLM 训练所用数据进行了初步探索，并识别出关于 LLM 训练任务专门化的一些观察，例如特定任务性能优化、指令微调所需指令类型数量，以及任务特定模型所需数据量。结果表明，任务特定模型可使用少于原始数据集 0.5% 的数据训练，且性能比在全任务相关数据上训练的模型提升 2%。
引用
@article{arxiv.2305.09246,
title = {Maybe Only 0.5% Data is Needed: A Preliminary Exploration of Low Training Data Instruction Tuning},
author = {Hao Chen and Yiming Zhang and Qi Zhang and Hantao Yang and Xiaomeng Hu and Xuetao Ma and Yifan Yanggong and Junbo Zhao},
journal= {arXiv preprint arXiv:2305.09246},
year = {2023}
}
备注
9 pages, 2 tables, 2 figures