面向全景活动识别的时空邻近感知双路径模型
计算机视觉与模式识别
2024-03-22 v1
摘要
全景活动识别（PAR）旨在识别拥挤全景场景中不同尺度上的多样化人类活动，从个体动作到社会群体活动和全局活动。PAR面临两大挑战：1）识别众多个体之间的细微交互；2）理解多粒度的人类活动。为解决这些问题，我们基于两个关键设计原则提出了社会邻近感知双路径网络（SPDP-Net）。首先，尽管先前的工作通常关注图像中个体之间的空间距离，但我们认为应考虑时空邻近性。这对于个体关系编码以正确理解社会动态至关重要。其次，与现有的层次化方法（个体到社会再到全局活动）不同，我们引入了一种用于多粒度活动识别的双路径架构。该架构包含个体到全局和个体到社会两条路径，通过多层全局-局部上下文相互增强彼此的任务。通过大量实验，我们验证了个体之间的时空邻近性和双路径架构在PAR中的有效性。此外，SPDP-Net在JRDB-PAR数据集上以46.5%的总体F1分数达到了新的最先进性能。
引用
@article{arxiv.2403.14113,
title = {Spatio-Temporal Proximity-Aware Dual-Path Model for Panoramic Activity Recognition},
author = {Sumin Lee and Yooseung Wang and Sangmin Woo and Changick Kim},
journal= {arXiv preprint arXiv:2403.14113},
year = {2024}
}