面向心理健康咨询的响应行为引导强化对话生成

虚拟心理健康助手（VMHA）已成为数字医疗空间中接受心理健康咨询的普遍方法。辅助性咨询对话以自然的开放式话题开始，以使来访者熟悉环境，随后收敛到更细粒度的领域特定话题。与其他被归类为开放域或任务导向系统的对话系统不同，VMHA 具有混合对话流。这些咨询机器人需要理解对话的各个方面，如对话行为、意图等，以引导来访者进行高效对话。尽管数字健康研究的激增凸显了许多通用响应生成系统的应用，但它们几乎不适用于心理健康领域——主要原因是对心理健康咨询缺乏理解。此外，一般而言，对话行为引导的响应生成器要么局限于基于模板的范式，要么缺乏恰当的语义。为此，我们提出 READER——一种用于心理健康咨询对话的响应行为（response-act）引导强化对话生成模型。READER 构建于 transformer 之上，联合预测下一话语（即响应行为）的潜在对话行为 d(t+1) 并生成恰当响应 u(t+1)。通过带近端策略优化（PPO）的 transformer 强化学习（TRL），我们引导响应生成器遵循 d(t+1)，并在奖励计算中通过 BERTScore 确保响应的语义丰富性。我们在基准咨询对话数据集 HOPE 上评估 READER，观察到其在 METEOR、ROUGE 和 BERTScore 等多个评价指标上优于若干基线。我们还提供了对结果的广泛定性与定量分析，包括错误分析、人工评估等。