通过从有机交互中学习改进开放语言模型
计算与语言
2023-06-09 v1 人工智能
摘要
我们提出 BlenderBot 3x，对话模型 BlenderBot 3 的更新版本，其现在使用来自系统参与用户的有机对话与反馈数据进行训练，以同时改进其技能与安全性。我们公开发布去标识化的参与交互数据供研究界使用，以推动进一步进展。用有机数据训练模型具有挑战性，因为“真实环境”中与人的交互既包含高质量对话与反馈，也包含对抗性与有毒行为。我们研究了能够从有益教导者学习、同时避免从试图诱使模型给出无益或有毒回应的人那里学习的技术。BlenderBot 3x 在对话中更受偏好于 BlenderBot 3，并显示出在挑战性情境中产生更安全回应。尽管我们当前的模型仍远非完美，我们相信通过持续使用本工作中探索的技术可取得进一步改进。
引用
@article{arxiv.2306.04707,
title = {Improving Open Language Models by Learning from Organic Interactions},
author = {Jing Xu and Da Ju and Joshua Lane and Mojtaba Komeili and Eric Michael Smith and Megan Ung and Morteza Behrooz and William Ngan and Rashel Moritz and Sainbayar Sukhbaatar and Y-Lan Boureau and Jason Weston and Kurt Shuster},
journal= {arXiv preprint arXiv:2306.04707},
year = {2023}
}