面向群体活动评估的结构化关系推理
计算机视觉与模式识别
2026-05-27 v2
摘要
群体活动检测 (GAD) 涉及识别视频中的社交群体及其集体行为。像 DINOv2 这样的视觉基础模型 (VFMs) 提供了出色的特征，但它们是在以物体为中心的数据上预训练的。我们发现，简单地将它们替换到现有的 GAD 流程中实际上会降低性能，这揭示了结构化的群体感知解码才是真正的瓶颈。我们引入了 ProGraD，这是一个建立在冻结的 VFMs 之上的、用于 GAD 的结构化关系推理框架。其核心是一个轻量级的双层 GroupContext Transformer，它显式地建模个体-群体关联并聚合全局上下文以推断集体行为。可学习的群体提示作为一种最小化的条件机制，引导冻结的主干网络朝向与社交相关的表示，而关系解码器则对个体和群体执行核心推理。这种设计仅使用 10M 可训练参数（不到先前方法的一半），就能在单次传递中联合推断群体位置、成员身份和活动。在包含多个并发社交群体的 Cafe 基准测试上，ProGraD 将 Group [email protected] 提升了 6.5%，将 Group [email protected] 提升了 8.2%。在 Social-CAD 上，它取得了最先进的社交和成员身份准确率。ProGraD 还生成了可解释的注意力图，为个体-群体推理提供了洞见。
引用
@article{arxiv.2508.07996,
title = {Structured Relational Reasoning for Group Activity Assessment},
author = {Thinesh Thiyakesan Ponbagavathi and Chengzheng Yang and Alina Roitberg},
journal= {arXiv preprint arXiv:2508.07996},
year = {2026}
}
备注
Accepted to CVPR 2026 Workshop (SAUAFG)