PRMB：用于长期 CBT 基于 counseling 对话奖励模型的基准测试
数据库
2026-03-13 v1
摘要
大语言模型 (LLM) 在认知行为疗法 (CBT) 基于 counseling 的应用中发挥着重要潜力，其中奖励模型在将 LLM 对齐于用户偏好疗法行为方面起关键作用。然而，现有奖励模型评估常因覆盖过程导向数据集有限，以及评估目标与心理学对齐目标不匹配而难以捕捉长期干预中的对齐效果。为此，我们提出 PRMB，一个为评估 CBT counseling 中奖励模型综合基准。PRMB 覆盖 6 个 session 和 21 种多样化负面情景，包含两两比较与 Best-of-N 偏好评估。我们表明，该基准与下游 counseling 对话性能呈正相关性。基于本基准，我们对当前最新奖励模型进行了大规模分析，揭示其泛化缺陷——这些缺陷原本未被先前基准发现，并凸显生成式奖励模型的潜力。此外，我们深入考察了推理时策略对奖励模型评估的有效性，并分析了生成式奖励模型的影响因素。这一工作通过建立心理健康对话中奖励模型评估框架，推动了智能医疗信息化以实现个性化 healthcare。评估代码与数据集已公开于 https://github.com/YouKenChaw/PRMB。
关键词
引用
@article{arxiv.2603.11494,
title = {PRMB: Benchmarking Reward Models in Long-Horizon CBT-based Counseling Dialogue},
author = {Yougen Zhou and Qin Chen and Ningning Zhou and Jie Zhou and Liang He},
journal= {arXiv preprint arXiv:2603.11494},
year = {2026}
}