通过人物属性预测学习群体活动特征
计算机视觉与模式识别
2024-03-12 v2
摘要
本文提出了群体活动特征（Group Activity Feature, GAF）学习方法，将多人活动特征学习为一个紧凑的潜在向量。与以往需要手动标注群体活动以进行监督学习的工作不同，我们的方法通过人物属性预测来学习 GAF，而无需群体活动标注。通过以端到端的方式学习整个网络，使得预测群体中人物的属性需要用到 GAF，从而将 GAF 训练为多人活动特征。作为人物属性，我们建议使用人物的动作类别和外观特征，因为前者由于简单而易于标注，后者则无需手动标注。此外，我们引入了位置引导的属性预测，以解耦复杂的 GAF，从而正确提取每个目标人物的特征。各种实验结果验证了我们的方法在两个公共数据集上定量和定性均优于最先进（SOTA）方法。对我们 GAF 的可视化也表明，我们的方法学习到的 GAF 能够代表细粒度的群体活动类别。代码：https://github.com/chihina/GAFL-CVPR2024。
引用
@article{arxiv.2403.02753,
title = {Learning Group Activity Features Through Person Attribute Prediction},
author = {Chihiro Nakatani and Hiroaki Kawashima and Norimichi Ukita},
journal= {arXiv preprint arXiv:2403.02753},
year = {2024}
}
备注
Accepted to CVPR2024