社交标题：评估多模态模型中的社会理解能力
计算与语言
2026-01-22 v1 机器学习
摘要
社交理解能力对于多模态大语言模型（MLLMs）解释人类社交互动至关重要。我们提出 Social Caption，一种基于互动理论的框架，用于评估 MLLMs 沿三个维度的社交理解能力：社交推断（Social Inference, SI），即对互动进行准确推断的能力；整体社交分析（Holistic Social Analysis, HSA），即生成互动综合描述的能力；定向社交分析（Directed Social Analysis, DSA），即从互动中提取相关社交信息的能力。我们分析影响模型在社交理解中性能的因素，如规模、架构设计和口语语境。使用 MLLM 评判器进行实验，为多模态社交理解的自动化评估提供了规模化方法的见解。
引用
@article{arxiv.2601.14569,
title = {Social Caption: Evaluating Social Understanding in Multimodal Models},
author = {Bhaavanaa Thumu and Leena Mathur and Youssouf Kebe and Louis-Philippe Morency},
journal= {arXiv preprint arXiv:2601.14569},
year = {2026}
}
备注
24 pages