GEMS：基于多模态情境理解的群体情感轮廓
计算机视觉与模式识别
2026-01-13 v2 机器学习
摘要
理解个体、群体和事件层面的情感以及上下文信息对于分析多人社交情境至关重要。为此，我们将情感理解任务化为预测从细粒度个体情感到粗粒度群体和事件情感的过程。我们引入的GEMS框架利用基于多模态Swin变换器和S3Attention架构，处理输入场景、群体成员及上下文信息，以生成联合预测。现有多人情感相关基准数据集主要关注基于情感随时间变化和群体层面感知的原子性交互。在此基础上，我们提出并扩展了VGAF-GEMS，提供更细粒度和整体的分析。GEMS旨在预测基本离散情感和连续情感（包括价值和唤醒度），以及个体、群体和事件层面的感知情感。我们的基准测试工作将个体、群体和情境情感响应整体地关联起来。与调整后的最新模型的定性和定量比较表明，GEMS框架在VGAF-GEMS基准测试中的有效性。我们相信这将为进一步的研究指明道路。代码和数据可在 https://github.com/katariaak579/GEMS 获取。
关键词
引用
@article{arxiv.2507.22393,
title = {Gems: Group Emotion Profiling Through Multimodal Situational Understanding},
author = {Anubhav Kataria and Surbhi Madan and Shreya Ghosh and Tom Gedeon and Abhinav Dhall},
journal= {arXiv preprint arXiv:2507.22393},
year = {2026}
}