你能分享你的故事吗？建模客户的元认知与开放性用于LLM治疗师评估
计算机与社会
2025-07-29 v1 人工智能
摘要
理解客户的思想与信念是 counseling 中的核心任务，但当前的LLM治疗师评估方法往往未能评估这一能力。现有的评估方法依赖于客户模拟器，这些模拟器会向治疗师明确披露内部状态，难以判断LLM治疗师是否能发现未被表达的视角。为此，我们引入MindVoyager，一个具有可控性和现实感的客户模拟器评估框架，该模拟器能够根据ongoing咨询会话动态自适应，提供更真实、更具挑战性的评估环境。我们进一步引入评估指标，通过衡量治疗师对客户信念与思想的全面理解来评估其探索能力。
引用
@article{arxiv.2507.19643,
title = {Can You Share Your Story? Modeling Clients' Metacognition and Openness for LLM Therapist Evaluation},
author = {Minju Kim and Dongje Yoo and Yeonjun Hwang and Minseok Kang and Namyoung Kim and Minju Gwak and Beong-woo Kwak and Hyungjoo Chae and Harim Kim and Yunjoong Lee and Min Hee Kim and Dayi Jung and Kyong-Mee Chung and Jinyoung Yeo},
journal= {arXiv preprint arXiv:2507.19643},
year = {2025}
}
备注
Published at ACL 2025 Findings