开放式人类反馈的未来
人机交互
2024-09-05 v2 人工智能
摘要
对大语言模型（LLM）对话的人类反馈是这些系统学习世界、提升能力并被引导至理想且安全行为的核心。然而，这种反馈大多由前沿AI实验室收集并对外保密。在本研究中，我们汇集跨学科专家来评估实现开放式AI人类反馈生态系统的机遇与挑战。我们首先考察了同侪生产、开源和公民科学社区中的成功实践。随后，我们刻画了开放式人类反馈面临的主要挑战。针对每一项挑战，我们调研了现有方法并提出了建议。最后，我们展望了支撑可持续的开放式人类反馈生态系统所需的组件。该生态系统的核心是用户与专用模型之间互利的反馈循环，激励由模型训练者和反馈提供者组成的多元化利益相关者社区来支持一个通用的开放反馈池。
引用
@article{arxiv.2408.16961,
title = {The Future of Open Human Feedback},
author = {Shachar Don-Yehiya and Ben Burtenshaw and Ramon Fernandez Astudillo and Cailean Osborne and Mimansa Jaiswal and Tzu-Sheng Kuo and Wenting Zhao and Idan Shenfeld and Andi Peng and Mikhail Yurochkin and Atoosa Kasirzadeh and Yangsibo Huang and Tatsunori Hashimoto and Yacine Jernite and Daniel Vila-Suero and Omri Abend and Jennifer Ding and Sara Hooker and Hannah Rose Kirk and Leshem Choshen},
journal= {arXiv preprint arXiv:2408.16961},
year = {2024}
}