SELF-GUIDE：通过自合成微调实现更好的任务特定指令遵循
计算与语言
2024-08-13 v2 人工智能
摘要
大型语言模型(LLMs)在提供适当的自然语言提示时，有望解决多样化的任务。然而，与使用充足训练数据微调模型相比，提示通常导致模型预测的准确率较低。另一方面，虽然在任务特定数据上微调LLMs通常能提高其性能，但并非所有任务都有丰富的标注数据集。先前的工作探索了从最先进的LLMs生成任务特定数据，并使用这些数据来微调较小的模型，但这种方法需要访问除正在训练的模型之外的语言模型，这带来了成本、可扩展性挑战以及与持续依赖更强大的LLMs相关的法律障碍。针对这些问题，我们提出了SELF-GUIDE，这是一种多阶段机制，其中我们从学生LLM合成任务特定的输入-输出对，然后使用这些输入-输出对来微调学生LLM本身。在我们对Natural Instructions V2基准的实证评估中，我们发现SELF-GUIDE显著提高了LLM的性能。具体来说，我们报告了在该基准指标中，分类任务的绝对改进约为15%，生成任务约为18%。这揭示了自合成数据在没有外部学习信号的情况下引导LLMs成为任务特定专家的前景。
引用
@article{arxiv.2407.12874,
title = {SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning},
author = {Chenyang Zhao and Xueying Jia and Vijay Viswanathan and Tongshuang Wu and Graham Neubig},
journal= {arXiv preprint arXiv:2407.12874},
year = {2024}
}
备注
Accepted by COLM 2024