通过人类反馈训练语言模型以遵循指令
计算与语言
2022-03-07 v1 人工智能
机器学习
摘要
增大语言模型的规模并不会天然地使其更善于遵循用户意图。例如，大型语言模型可能生成不真实、有毒或根本对用户无帮助的输出。换言之，这些模型与其用户未对齐。本文中，我们展示了一种通过在广泛任务上以人类反馈进行微调来使语言模型与用户意图对齐的途径。从一组由标注者撰写的提示以及通过OpenAI API提交的提示出发，我们收集了一个标注者演示所需模型行为的数据集，并用其通过监督学习微调GPT-3。随后我们收集了一个模型输出排序的数据集，并用其通过人类反馈的强化学习进一步微调该监督模型。我们将所得模型称为InstructGPT。在我们提示分布上的人类评估中，尽管参数少100倍，1.3B参数的InstructGPT模型的输出仍优于175B的GPT-3的输出。此外，InstructGPT模型在真实性上有所提升，有毒输出生成减少，同时在公开NLP数据集上性能回退极小。尽管InstructGPT仍会犯简单错误，我们的结果表明通过人类反馈微调是使语言模型与人类意图对齐的一个有前景的方向。
引用
@article{arxiv.2203.02155,
title = {Training language models to follow instructions with human feedback},
author = {Long Ouyang and Jeff Wu and Xu Jiang and Diogo Almeida and Carroll L. Wainwright and Pamela Mishkin and Chong Zhang and Sandhini Agarwal and Katarina Slama and Alex Ray and John Schulman and Jacob Hilton and Fraser Kelton and Luke Miller and Maddie Simens and Amanda Askell and Peter Welinder and Paul Christiano and Jan Leike and Ryan Lowe},
journal= {arXiv preprint arXiv:2203.02155},
year = {2022}
}