当生活给你柠檬，就做樱桃汽水：将不良回复的反馈转化为优质标签
计算与语言
2022-10-31 v1 人工智能
摘要
已部署的对话智能体有潜力整合人类反馈以持续改进自身。然而，当聊天机器人在交互中犯错时，人类未必总会提供显式信号。在本工作中，我们提出 Juicer，一个利用二元与自由文本形式人类反馈的框架。其运作方式为：(i) 通过训练一个满意度分类器来标注未标注数据，从而扩展稀疏的二元反馈；以及 (ii) 训练一个回复修正器，将不良回复映射为良好回复。我们发现，用模型修正的回复增强训练可改进最终的对话模型，并且通过使用近期提出的 Director 模型同时利用正向与负向回复，可进一步提升性能。
引用
@article{arxiv.2210.15893,
title = {When Life Gives You Lemons, Make Cherryade: Converting Feedback from Bad Responses into Good Labels},
author = {Weiyan Shi and Emily Dinan and Kurt Shuster and Jason Weston and Jing Xu},
journal= {arXiv preprint arXiv:2210.15893},
year = {2022}
}