SocialNLI：面向社交推理的对话中心数据集
计算与语言
2025-10-08 v1
摘要
从人类对话中进行理论心智推理是评估模型底层社交能力的重要指标，而这些能力是高效AI助手的基本要求。然而，大型语言和推理模型在理解转录数据中所涉及的复杂社会现象（如讽刺和讽刺）方面仍感到困难。为评估当前模型的薄弱环节并识别其解决方案，本文介绍SocialNLI (SoNLI)——首个社交对话推理数据集。SoNLI包含精选对话转录文本，聚焦复杂的社交细微差别，如讽刺和讽刺，配有推理结果、相应的概率得分以及人工编写的解释。我们将社交推理分析视为理论心智能力的一个方面，通过多步反事实推理来评估LLM和推理模型的理论心智能力。
引用
@article{arxiv.2510.05458,
title = {SocialNLI: A Dialogue-Centric Social Inference Dataset},
author = {Akhil Deo and Kate Sanders and Benjamin Van Durme},
journal= {arXiv preprint arXiv:2510.05458},
year = {2025}
}
备注
4 pages