最重要人物引导的双分支跨块注意力用于群体情感识别
计算机视觉与模式识别
2023-10-18 v2
摘要
群体情感是指由外部刺激在群体中引发的主观情绪，是塑造群体行为与结果的重要因素。群体情感识别需要在人群中识别出能够引发情绪的重要个体与显著物体。然而，现有多数方法缺乏对群体动态中情感意义的关注，且未能考虑群体级图像中人脸与物体的上下文相关性。本工作中，我们引入心理学概念“最重要人物”(Most Important Person, MIP)——代表人群中最值得注意且具有情感语义的人脸——来提出解决方案。我们提出双分支跨块注意力Transformer (Dual-branch Cross-Patch Attention Transformer, DCAT)，以全局图像与MIP共同作为输入。具体而言，我们首先分别学习MIP产生的信息性面部区域与全局上下文。随后，提出跨块注意力(Cross-Patch Attention)模块将MIP与全局上下文的特征融合以相互补充。我们所提方法在GAF 3.0、GroupEmoW与HECO数据集上优于当前最优(state-of-the-art)方法。此外，我们通过展示所提模型可迁移至另一群体情感任务——群体凝聚力——并取得可比结果，证明了其更广泛应用的潜力。
引用
@article{arxiv.2212.07055,
title = {Most Important Person-guided Dual-branch Cross-Patch Attention for Group Affect Recognition},
author = {Hongxia Xie and Ming-Xian Lee and Tzu-Jui Chen and Hung-Jen Chen and Hou-I Liu and Hong-Han Shuai and Wen-Huang Cheng},
journal= {arXiv preprint arXiv:2212.07055},
year = {2023}
}
备注
Accepted by ICCV 2023