以真实世界用户参与度奖励聊天机器人
计算与语言
2023-04-03 v2 人工智能
机器学习
摘要
预训练大语言模型的出现促使一系列用于闲聊的社交聊天机器人被部署。尽管这些聊天机器人展现出语言能力与流畅度，但它们未必具有吸引力，且难以留住用户。本研究探讨如何开发以用户参与度为核心、以提升留存率为目标的社交聊天机器人，具体考察利用人类反馈高效开发高吸引力聊天机器人的方法。所提方法使用从用户交互中自动收集的伪标签训练奖励模型，该模型可在推理时拒绝聊天机器人模型生成的低分样本回复。研究引入平均对话长度（MCL）等直观评估指标，作为衡量已部署聊天机器人参与度的代理指标。在 Chai Research 平台上对每日 10,000 名新聊天机器人用户进行 A/B 测试表明，该方法使 MCL 提升高达 70%，对应 GPT-J 6B 模型的用户留存率提升超过 30%。未来工作旨在利用奖励模型实现数据飞轮，即使用最新用户对话交替微调语言模型与奖励模型。
引用
@article{arxiv.2303.06135,
title = {Rewarding Chatbots for Real-World Engagement with Millions of Users},
author = {Robert Irvine and Douglas Boubert and Vyas Raina and Adian Liusie and Ziyi Zhu and Vineet Mudupalli and Aliaksei Korshuk and Zongyi Liu and Fritz Cremer and Valentin Assassi and Christie-Carol Beauchamp and Xiaoding Lu and Thomas Rialan and William Beauchamp},
journal= {arXiv preprint arXiv:2303.06135},
year = {2023}
}