InsCL：一种用于指令微调大语言模型的数据高效持续学习范式
计算与语言
2024-03-19 v1
摘要
指令微调能有效优化大语言模型（LLMs）以适应下游任务。由于现实应用环境不断变化，LLMs需要持续进行任务特定的自适应，同时避免灾难性遗忘。考虑到高昂的计算成本，基于回放的持续学习（CL）方法是LLMs解决遗忘问题最简单且应用最广泛的方法。然而，传统的基于回放的方法并未充分利用指令来定制回放策略。在这项工作中，我们提出一种称为基于指令的持续学习（InsCL）的新范式。InsCL根据任务相似度动态回放先前数据，该相似度通过结合指令的Wasserstein距离计算得出。此外，我们进一步引入指令信息度量（InsInfo）来量化指令的复杂性和多样性。根据InsInfo，InsCL引导回放过程更倾向于高质量数据。我们在16个任务上以不同训练顺序进行了广泛实验，观察到InsCL持续的性能提升。当所有任务训练完毕后，与随机回放相比，InsCL实现了3.0相对增益的性能提升；与无回放相比，实现了27.96相对增益的性能提升。
引用
@article{arxiv.2403.11435,
title = {InsCL: A Data-efficient Continual Learning Paradigm for Fine-tuning Large Language Models with Instructions},
author = {Yifan Wang and Yafei Liu and Chufan Shi and Haoling Li and Chen Chen and Haonan Lu and Yujiu Yang},
journal= {arXiv preprint arXiv:2403.11435},
year = {2024}
}
备注
Accepted by NAACL 2024