Ψ-Arena：基于三方反馈的LLM心理咨询师交互式评估与优化
计算与语言
2025-05-07 v1
摘要
大型语言模型（LLMs）在提供可扩展的心理健康支持方面展现出潜力，而评估其咨询能力对于确保有效性和安全性仍然至关重要。现有的评估受限于关注知识测试的静态评估、以用户体验为中心的单一视角以及缺乏可操作反馈的开环框架。为了解决这些问题，我们提出了Ψ-Arena，这是一个用于全面评估和优化基于LLM的咨询师的交互式框架，具有三个关键特征：（1）现实的竞技场交互，通过与具有心理画像的NPC客户进行多阶段对话来模拟真实世界的咨询；（2）三方评估，整合了来自客户、咨询师和督导视角的评估；（3）闭环优化，利用诊断反馈迭代改进LLM咨询师。在八个最先进的LLM上进行的实验表明，在不同的现实世界场景和评估视角下，性能存在显著差异。此外，基于反思的优化使咨询性能最高提升了141%。我们希望PsychoArena能为推进心理健康护理中可靠且与人类对齐的LLM应用提供基础资源。
引用
@article{arxiv.2505.03293,
title = {{\Psi}-Arena: Interactive Assessment and Optimization of LLM-based Psychological Counselors with Tripartite Feedback},
author = {Shijing Zhu and Zhuang Chen and Guanqun Bi and Binghang Li and Yaxi Deng and Dazhen Wan and Libiao Peng and Xiyao Xiao and Rongsheng Zhang and Tangjie Lv and Zhipeng Hu and FangFang Li and Minlie Huang},
journal= {arXiv preprint arXiv:2505.03293},
year = {2025}
}
备注
in progress