SocialVeil: 探测语言代理在通信障碍下的社交智能
人工智能
2026-02-06 v1 计算与语言
摘要
大型语言模型（LLMs）正在被评估于交互式环境以测试其社交智能。然而，现有基准通常假设代理之间理想化的通信，限制了我们诊断LLMs是否能在更真实、不完美的设置中维持和修复交互的能力。为弥合这一差距，我们提出了\textsc{SocialVeil}，一个可以在认知差异引起的通信障碍下模拟社交交互的社交学习环境。基于对人类交互中通信挑战的系统文献综述，\textsc{SocialVeil}引入三种代表性干扰类型：语义模糊、社会文化不匹配和情感干扰。我们还引入两种障碍感知的评估指标：未解决的混淆和相互理解，以评估受阻碍影响下的交互质量。在720个情景和四个前沿LLMs的实验中，结果显示障碍持续地损害性能，其中相互理解减少了超过45%，混淆增加了近50%。人类评估验证了这些模拟障碍的忠实性（ICC≈0.78，Pearson r≈0.80）。我们进一步展示了适应策略（修复指令和交互式学习）仅在距离无障碍性能时才有 modest 的效果。这项工作迈出了一步，使社交交互环境更接近现实世界通信，为探索LLM代理的社交智能开辟了机遇。
关键词
引用
@article{arxiv.2602.05115,
title = {SocialVeil: Probing Social Intelligence of Language Agents under Communication Barriers},
author = {Keyang Xuan and Pengda Wang and Chongrui Ye and Haofei Yu and Tal August and Jiaxuan You},
journal= {arXiv preprint arXiv:2602.05115},
year = {2026}
}
备注
10 pages