用于社交群体活动识别的 Transformer 高效注意力设计与分析

社交群体活动识别是从群体活动识别延伸出来的一项具有挑战性的任务，其中必须识别出社交群体及其活动和群体成员。现有方法通过沿用现有的群体活动识别方法，利用个体的区域特征来解决这一任务。然而，区域特征的有效性容易受到人员定位和个体动作可变语义的影响。为了克服这些问题，我们提出利用 Transformer 中的注意力模块来生成社交群体特征。在该方法中，使用多个嵌入来聚合社交群体的特征，每个嵌入被无重复地分配给一个群体成员。由于这种无重复的分配，嵌入的数量必须足够大以避免遗漏群体成员，从而使 Transformer 中的注意力失效。为了寻找具有大量嵌入的最佳注意力设计，我们探索了用于特征聚合的查询以及 Transformer 解码器中自注意力模块的几种设计选择。大量实验结果表明，所提出的方法实现了 SOTA 性能，并验证了所提出的注意力设计在社交群体活动识别上高度有效。