大语言模型指令遵循：进展与挑战综述
计算与语言
2024-05-28 v8
摘要
任务语义可以通过一组输入-输出示例或一段文本指令来表达。传统的自然语言处理（NLP）机器学习方法主要依赖于大规模任务特定示例集的可用性。这引发了两个问题：首先，收集任务特定的标注示例不适用于任务过于复杂或标注成本过高，或者系统需要立即处理新任务的场景；其次，这对用户不友好，因为终端用户在使⽤系统前可能更愿意提供任务描述而非一组示例。因此，学术界对 NLP 的一种新的监督寻求范式产生了越来越浓厚的兴趣：学习遵循任务指令，即指令遵循（instruction following）。尽管取得了令人瞩目的进展，但学术界仍面临一些共同问题。本综述试图通过回答以下问题来总结并对当前指令遵循研究提供见解：(i) 什么是任务指令，存在哪些指令类型？(ii) 如何对指令进⾏建模？(iii) 流⾏的指令遵循数据集和评估指标有哪些？(iv) 哪些因素影响并解释了指令的性能？(v) 指令遵循⽅⾯仍存在哪些挑战？据我们所知，这是关于指令遵循的第⼀篇全⾯综述。
引用
@article{arxiv.2303.10475,
title = {Large Language Model Instruction Following: A Survey of Progresses and Challenges},
author = {Renze Lou and Kai Zhang and Wenpeng Yin},
journal= {arXiv preprint arXiv:2303.10475},
year = {2024}
}
备注
Accepted by Computational Linguistics Journal. The paper list is available at https://github.com/RenzeLou/awesome-instruction-learning