WebGPT：基于浏览器辅助与人反馈的问答系统
计算与语言
2022-06-03 v3 人工智能
机器学习
摘要
我们微调GPT-3以使用基于文本的网页浏览环境来回答长形式问题，该环境允许模型搜索并浏览网页。通过将任务设置为可由人类执行，我们能够利用模仿学习在该任务上训练模型，并通过人类反馈优化答案质量。为使人类更易于评估事实准确性，模型必须在浏览过程中收集参考文献以支持其答案。我们在ELI5（一个由Reddit用户提问的数据集）上训练和评估我们的模型。我们的最佳模型通过对GPT-3进行行为克隆微调，然后针对预测人类偏好的奖励模型执行拒绝采样获得。该模型的答案在56%的情况下被人类偏好于我们的人类示范者答案，在69%的情况下被偏好于Reddit上获赞最高的答案。
引用
@article{arxiv.2112.09332,
title = {WebGPT: Browser-assisted question-answering with human feedback},
author = {Reiichiro Nakano and Jacob Hilton and Suchir Balaji and Jeff Wu and Long Ouyang and Christina Kim and Christopher Hesse and Shantanu Jain and Vineet Kosaraju and William Saunders and Xu Jiang and Karl Cobbe and Tyna Eloundou and Gretchen Krueger and Kevin Button and Matthew Knight and Benjamin Chess and John Schulman},
journal= {arXiv preprint arXiv:2112.09332},
year = {2022}
}
备注
32 pages