H2HTalk：评估大型语言模型作为情感伴侣
计算与语言
2025-07-08 v1 人工智能
摘要
随着数字情感支持需求的增长，大型语言模型伴侣提供了有前景的真实、随时可用的共情能力，尽管严格的评估落后于模型的发展。我们提出了H2HTalk(Heart-to-Heart Talk)，一个评估伴侣在个性发展和共情互动方面表现的基准，平衡了情商与语言流畅性。H2HTalk包含4,650个精心策划的场景，涵盖对话、回忆和行程规划，反映了现实世界中的支持性对话，在规模和多样性上远超以往数据集。我们引入了一个安全依恋人格(SAP)模块，该模块实现了依恋理论原则以实现更安全的交互。使用我们的统一协议对50个LLM进行基准测试表明，长程规划和记忆保持仍然是关键挑战，当用户需求是隐式的或在对话中途发生变化时，模型表现不佳。H2HTalk为情商伴侣建立了首个全面基准。我们发布所有材料以推动能够提供有意义且安全心理支持的LLM的发展。
引用
@article{arxiv.2507.03543,
title = {H2HTalk: Evaluating Large Language Models as Emotional Companion},
author = {Boyang Wang and Yalun Wu and Hongcheng Guo and Zhoujun Li},
journal= {arXiv preprint arXiv:2507.03543},
year = {2025}
}