通过逐步指令改进跨任务泛化
计算与语言
2023-05-09 v1
摘要
指令微调已被证明能够改善语言模型的跨任务泛化能力。然而，语言模型遵循指令完成目标任务仍然具有挑战性，因为指令较为笼统且缺乏中间步骤。为解决该问题，我们提出引入逐步指令以帮助语言模型分解任务，从而提供完成目标任务的详细且具体的流程。逐步指令通过提示 ChatGPT 自动获得，并进一步与原始指令结合以微调语言模型。在 SUP-NATINST 上的大量实验表明，高质量的逐步指令能够改善不同模型规模下的跨任务泛化。此外，进一步的分析指出了逐步指令中步骤顺序对改进的重要性。为促进未来研究，我们发布了逐步指令及其人工质量评估结果。
引用
@article{arxiv.2305.04429,
title = {Improving Cross-Task Generalization with Step-by-Step Instructions},
author = {Yang Wu and Yanyan Zhao and Zhongyang Li and Bing Qin and Kai Xiong},
journal= {arXiv preprint arXiv:2305.04429},
year = {2023}
}