PsychePass：通过轨迹锚定锦标赛校准 LLM 治疗能力
计算与语言
2026-01-29 v1 机器学习
摘要
虽然大型语言模型在精神医疗领域显示出前景，但评估其治疗能力 remains 挑战性，因为治疗过程具有非结构化和纵向特征。我们认为当前评估范式存在根本性缺陷，导致两类不稳定性：过程漂移，即未受约束的客户模拟偏离特定治疗目标；以及标准漂移，即静态的逐点评分缺乏可靠判断的稳定性。为此，我们引入 Ps，一个通过轨迹锚定锦标赛校准 LLM 治疗能力的统一框架。我们首先在仿真中锚定交互轨迹，客户精确控制咨询过程以探测多维能力。随后通过高效的 Swiss-system 锦标赛锚定对战轨迹，利用动态成对对战产生稳健的 Elo 评分。除了排名，我们展示了锦标赛轨迹可转化为可信的奖励信号，使能在策略上增强 LLM 性能。大量实验验证了 PsychePass 的有效性以及其与人类专家判断的强一致性。
引用
@article{arxiv.2601.20330,
title = {PsychePass: Calibrating LLM Therapeutic Competence via Trajectory-Anchored Tournaments},
author = {Zhuang Chen and Dazhen Wan and Zhangkai Zheng and Guanqun Bi and Xiyao Xiao and Binghang Li and Minlie Huang},
journal= {arXiv preprint arXiv:2601.20330},
year = {2026}
}