群体集体情感的动力学：群体级标注与收敛及发散的多模态建模

在群体中协作，无论是面对面还是虚拟形式，都涉及不断表达情绪并解读其他群体成员的情绪。因此，理解群体情感对于理解群体如何互动并在协作中取得成功至关重要。在本研究中，我们超越了个体层面的情感，研究了群体层面的情感——一种反映特定时刻群体成员之间共享情绪或情感的集体现象。作为文献中的首次尝试，我们采用细粒度的时间方法（15秒窗口）收集了群体层面情感表达的标注，该方法同时捕捉了该集体构念的内在动力学。为此，我们使用了受过训练的标注员以及专门调整以捕捉群体交互全部范围的标注流程。此外，我们对群体情感随时间的动力学进行了建模。研究群体交互中群体情感起伏的一种方法是，对群体成员之间情感表达潜在的收敛（由情绪传染驱动）与发散（由情绪反应性引起）进行建模。为了捕捉这些人际动力学，我们从音频和视觉社会信号线索中提取了基于同步的特征。对这些特征的分析表明，在群体情感的中性水平上，交互群体在社会信号方面趋于发散，而在情感表达的极端水平上趋于收敛。我们进一步展示了动态群体情感预测建模的结果，这凸显了在建模过程中使用基于同步的特征以及群体情感多模态特性的重要性。我们预期，所提出的模型将作为未来动态群体情感自动识别研究的基线。