通过 AI 反馈训练对话系统以提高整体对话印象
计算与语言
2025-01-28 v2
摘要
为了提高与对话系统进行对话时的 user 参与度，我们必须提高单个对话响应以及整个对话中如 consistency、personality 和 empathy 等印象。虽然这些对话系统在大语言模型 (LLM) 的帮助下发展得很快，但从 AI 反馈中进行强化学习 (RLAIF) 已引起关注，以对齐 LLM 基于对话模型以实现此类对话印象。在 RLAIF 中，基于另一个 LLM 的 reward model 用于使用 zero-shot/few-shot prompting 技术为 LLM 基于对话的模型创建训练信号。然而，仅通过 prompting LLM 来评估整个对话具有挑战性。在本研究中，我们为 LLM 的 SFT 准备了对应 12 个与整个对话印象相关的 metric 的 reward model。我们使用 reward model 信号作为反馈来调优我们的对话模型，以提高系统的印象。自动和人类评估的结果表明，使用我们对应于对话印象的 reward model 对对话模型进行调优，提高了 individual metric 的评估以及对话响应的自然性。
引用
@article{arxiv.2501.12698,
title = {Training Dialogue Systems by AI Feedback for Improving Overall Dialogue Impression},
author = {Kai Yoshida and Masahiro Mizukami and Seiya Kawano and Canasai Kruengkrai and Hiroaki Sugiyama and Koichiro Yoshino},
journal= {arXiv preprint arXiv:2501.12698},
year = {2025}
}
备注
Accepted to ICASSP 2025