EgoSocialArena：基于第一人称视角评估大语言模型社交智能的基准框架
计算机视觉与模式识别
2024-10-10 v1
摘要
社交智能建立在三个基础支柱之上：认知智能、情境智能和行为智能。随着大语言模型（LLM）越来越多地融入我们的社交生活，理解、评估和发展其社交智能正变得越来越重要。虽然已有多个研究探讨了LLM的社交智能，但存在以下问题：（1）大多数研究只关注特定方面，尚未系统地组织和研究LLM的社交智能；（2）将LLM置于第三人称视角（如Theory of Mind测试）作为被动观察者；（3）缺乏对行为智能的全面评估，尤其缺乏关键人机交互情景的纳入。鉴于此，我们提出EgoSocialArena，一个基于社交智能的三个支柱（认知、情境和行为智能）所构建的新型框架，旨在从第一人称视角系统性地评估LLM的社交智能。通过EgoSocialArena，我们对八个主要基础模型进行了全面评估，即便是最先进的LLM如O1-preview也在人类水平之下。
引用
@article{arxiv.2410.06194,
title = {Prompting DirectSAM for Semantic Contour Extraction in Remote Sensing Images},
author = {Shiyu Miao and Delong Chen and Fan Liu and Chuanyi Zhang and Yanhui Gu and Shengjie Guo and Jun Zhou},
journal= {arXiv preprint arXiv:2410.06194},
year = {2024}
}