情境情感感知的治疗对话生成：基于多组件强化学习的心理健康支持语言模型方法
计算与语言
2026-02-17 v2
摘要
心理健康障碍对全球社会经济负担巨大。虽然大语言模型（LLM）提供了24小时、无偏见的交互以弥合这一差距，但预训练模型缺乏情境连贯性和情感一致性，难以实现恰当的治疗对话。现有方法存在三个关键方法论缺口：1）监督微调（SFT）产生重复且情境不敏感的输出，无法在临床准确性与真实共情之间取得平衡；2）基于强化学习的治疗系统依赖通用奖励函数（如BLEU、ROUGE），优先考虑词汇相似性而非临床特定的情感恰当性和情境相关性；3）LLM资源密集且存在数据隐私风险，使在临床环境中本地部署不可行。为此，本研究探讨应用SFT和RL技术来增强GPT-2在治疗对话生成方面的能力。该方法重新结构化输入格式，以实现情境信息、情感状态与用户输入的同步处理，采用新型多组件奖励函数，显式将模型输出与专业治疗逻辑（而非仅限于词汇重合）及标注情感相匹配。结果显示，RL相较于基线GPT-2在多个评估指标上均取得显著提升：BLEU（0.0111）、ROUGE-1（0.1397）、ROUGE-2（0.0213）、ROUGE-L（0.1317）和METEOR（0.0581）。LLM评估确认高度的情境相关性和专业性，而RL实现99.34%的情感准确率，远高于基线GPT-2的66.96%。这些发现表明，RL在开发可作为治疗师有价值辅助工具的治疗对话系统方面具有有效性，同时保持必要的人类临床监督。
引用
@article{arxiv.2511.11884,
title = {Context-Emotion Aware Therapeutic Dialogue Generation: A Multi-component Reinforcement Learning Approach to Language Models for Mental Health Support},
author = {Eric Hua Qing Zhang and Julia Ive},
journal= {arXiv preprint arXiv:2511.11884},
year = {2026}
}