当求助者难以获得帮助：情感支持对话系统在最坏情况互动中的评估
计算与语言
2026-05-28 v1
摘要
情感支持对话系统（ESDSystem）越来越多地使用LLM模拟的求助者进行评估和训练。然而，这些模拟的求助者往往作为合作、平均情况的用户行为——他们披露得清晰、作出建设性回应，并在几轮对话后接受支持。这可能导致过于乐观的评估，掩盖ESDSystem是否能处理困难的求助互动。本文研究ESDSystem在最坏情况互动下的评估，其中求助者因参与度低、抵抗心强、自我披露有限、情绪不稳定或持续消极解释而难以得到帮助。首先，我们组织了由八位经验丰富的咨询专业人员进行的专家模拟研究，他们模拟困难求助者，与现有的中文ESDSystem进行互动，提供量化评分，并参与半结构化访谈。基于这一研究，我们归纳出最坏情况求助者行为，识别当前系统的关键局限性。随后，我们提出了一套最坏情况评估框架，包括基于LLM的最坏情况求助者模拟器和四项最坏情况导向指标：Deep Emotional Understanding（深层情感理解）、Guided Exploration（引导性探索）、Balanced Emotional Support（平衡情感支持）和Authentic and Grounded Support（真实且扎实的支持）。评估了17个系统后发现，在最坏情况互动下，几乎所有模型的性能都会显著下降。大型通用LLM通常比专门的ESDSystem更健壮，但即使是最强的模型也难以维持参与度并改善求助者的情绪状态。最后，我们表明最坏情况模拟也可用于生成有用的训练数据，提高较小模型的鲁棒性。
引用
@article{arxiv.2605.28228,
title = {When Seekers Are Hard to Help: Evaluating Emotional Support Dialogue Systems in Worst-Case Interactions},
author = {Jiajie Yang and Yangchun Li and Guanyi Chen and Rui Fan and Xin Bai and Tingting He},
journal= {arXiv preprint arXiv:2605.28228},
year = {2026}
}