揭示大型语言模型微调中的指令混合
计算与语言
2024-02-20 v3 人工智能
摘要
指令调优显著提升了大型语言模型 (LLMs) 在各种任务上的性能。然而，优化 LLM 微调的指令数据集混合的过程仍不甚明了。本研究将指令分为三种主要类型：NLP 下游任务、编码和通用聊天。我们探讨了不同数据集组合上的指令调优对 LLM 性能的影响，发现某些指令类型对特定应用更有利，但可能对其他领域产生负面影响。本工作提供了关于指令混合的见解，为未来的研究奠定了基础。
引用
@article{arxiv.2312.10793,
title = {Demystifying Instruction Mixing for Fine-tuning Large Language Models},
author = {Renxi Wang and Haonan Li and Minghao Wu and Yuxia Wang and Xudong Han and Chiyu Zhang and Timothy Baldwin},
journal= {arXiv preprint arXiv:2312.10793},
year = {2024}
}
备注
Instruction Tuning, Large Language Model, Alignment