EgoSocial：基于以太视角社交互动感知对全模态 LLM 主动干预能力的基准测试
计算机视觉与模式识别
2025-10-16 v1
摘要
随着 AR/VR 技术日益融入日常生活，越来越需要理解以太视角人类社交动态的人工智能。然而，当前的 LLM 往往缺乏社交意识，无法判断何时干预作为 AI 助手，从而导致持续且社交不可感知的响应，可能干扰自然对话并负面影响用户注意力。为此，本文提出 EgoSocial，一个大规模以太视角数据集，包含 13,500 对社交视频-问题对，旨在基准测试社交互动感知中的干预能力。我们对当前全模态 LLM（OLLM）进行深入分析，评估其检测多样化社交情境线索的有效性。实验显示，OLLM 在检测干预时机方面仍存在挑战（Gemini 2.5 Pro 为 14.4%）。我们还提出 EgoSoD（EgoSocial Detection），一种用于稳健识别社交动态的端到端方法。受我们 OLLM 分析的启发，EgoSoD 将多模态情境线索（如音频和视觉线索）整合到社交思考图中，动态建模参与者和互动。我们的 метод 主动检测干预时机和社交互动，精确判断何时干预。EgoSoD 在 Phi-4 上的干预时机性能提升 45.6%，Gemini 2.5 Pro 提升 9.9%，Phi-4 在整体社交互动性能提升 20.4%，Gemini 2.5 Pro 提升 6.9%。我们将不久后发布数据集和代码。
引用
@article{arxiv.2510.13105,
title = {EgoSocial: Benchmarking Proactive Intervention Ability of Omnimodal LLMs via Egocentric Social Interaction Perception},
author = {Xijun Wang and Tanay Sharma and Achin Kulshrestha and Abhimitra Meka and Aveek Purohit and Dinesh Manocha},
journal= {arXiv preprint arXiv:2510.13105},
year = {2025}
}