OpenAssistant对话——大模型对齐的民主化
计算与语言
2023-11-01 v2 人工智能
摘要
将大语言模型 (LLM) 与人类偏好对齐已被证明能大幅改善可用性，并如ChatGPT所展示的那样推动了快速采用。诸如监督微调 (SFT) 和基于人类反馈的强化学习 (RLHF) 等对齐技术极大降低了对有效驾驭LLM能力所需的技能与领域知识的要求，提升了其在各领域的可及性与效用。然而，诸如RLHF等最先进的对齐技术依赖于高质量人类反馈数据，这类数据创建成本高昂且往往为专有。为推进大规模对齐研究的民主化，我们发布了OpenAssistant Conversations，一个由人类生成、人工标注的助手风格对话语料库，包含35种语言下的161,443条消息，标注有461,292个质量评分，形成超过10,000棵完整且充分标注的对话树。该语料库是一项涉及超过13,500名志愿者的全球众包努力的产物。在OpenAssistant Conversations上训练的模型在标准基准上相比各自基础模型展现出一致的提升。我们以完全许可的许可证发布我们的代码与数据。
引用
@article{arxiv.2304.07327,
title = {OpenAssistant Conversations -- Democratizing Large Language Model Alignment},
author = {Andreas Köpf and Yannic Kilcher and Dimitri von Rütte and Sotiris Anagnostidis and Zhi-Rui Tam and Keith Stevens and Abdullah Barhoum and Nguyen Minh Duc and Oliver Stanley and Richárd Nagyfi and Shahul ES and Sameer Suri and David Glushkov and Arnav Dantuluri and Andrew Maguire and Christoph Schuhmann and Huu Nguyen and Alexander Mattick},
journal= {arXiv preprint arXiv:2304.07327},
year = {2023}
}
备注
Published in NeurIPS 2023 Datasets and Benchmarks