评估大语言模型在辅导员培训中的角色一致性
计算与语言
2026-01-15 v1 人工智能
摘要
线上咨询服务的兴起凸显了为未来咨询员提供有效培训方法的需求。本文扩展了有关 VirCo（Virtual Client for Online Counseling，即线上咨询虚拟客户）的研究，旨在通过模拟逼真的客户互动，补充学术培训中传统角色扮演方法。基于前期工作，我们引入了新的数据集，纳入对抗性攻击，以测试大语言模型（LLM）维持其分配角色（角色一致性）的能力。该研究聚焦于评估 Vicuna 模型响应的角色一致性和连贯性，同时与早前研究进行比较。此外，我们评估并比较了各种开源大语言模型在虚拟客户互动中维持角色一致性的性能。我们的贡献包括创建对抗性数据集、评估对话连贯性和人格一致性，以及提供不同大语言模型的比较分析。
引用
@article{arxiv.2601.08892,
title = {Evaluating Role-Consistency in LLMs for Counselor Training},
author = {Eric Rudolph and Natalie Engert and Jens Albrecht},
journal= {arXiv preprint arXiv:2601.08892},
year = {2026}
}