成为自指令：为最小化指令微调引入早停准则
计算与语言
2023-07-10 v1 人工智能
摘要
在本文中，我们引入指令遵循分数（Instruction Following Score, IFS），一种检测语言模型遵循指令能力的指标。该指标具有双重用途。首先，IFS 可用于区分基础模型与指令模型。我们对公开可用的基础模型和指令模型进行基准测试，并表明格式良好响应与部分及完整句子的比例可作为这两类模型之间的有效度量。其次，该指标可用作指令微调的早停准则。我们计算了 7B 和 13B LLaMA 模型在监督微调（Supervised Fine-Tuning, SFT）下的 IFS，表明模型在训练过程中相对较早学会遵循指令，而进一步微调可能导致底层基础模型语义的变化。作为语义变化的一个例子，我们展示了模型预测的客观性，由辅助指标 ObjecQA 定义。我们表明，在这一特定情况下，当 IFS 趋于平稳时语义变化最为剧烈。我们希望将指令微调分解为 IFS 与语义因素，能开启更好地可控指令微调的新趋势，并为设计查询基础模型的最小指令接口开辟可能。
引用
@article{arxiv.2307.03692,
title = {Becoming self-instruct: introducing early stopping criteria for minimal instruct tuning},
author = {Waseem AlShikh and Manhal Daaboul and Kirk Goddard and Brock Imel and Kiran Kamble and Parikshith Kulkarni and Melisa Russak},
journal= {arXiv preprint arXiv:2307.03692},
year = {2023}
}