通过分解全局显式标注与局部隐式多模态反馈改进对话智能体

我们描述了一种基于全局（即对话级别）奖励来对齐基于 LLM 的对话智能体的方法，同时考虑了自然产生的多模态信号。在宏观层面上，我们的方法（称为 GELI）通过分解人类提供的全局显式（GE）会话级别奖励来学习局部、轮次级别的奖励模型，并使用局部隐式（LI）多模态奖励信号来跨模态地塑造奖励分解步骤。该分解后的奖励模型随后作为标准 RHLF 流水线的一部分用于改进基于 LLM 的对话智能体。我们进行了定量和定性的人类研究以评估我们 GELI 方法的性能，发现与基线方法相比，它在各种对话指标上均表现出一致的改进。