基于深度多重聚合网络的行为识别
计算机视觉与模式识别
2020-06-09 v1
摘要
当前大多数行为识别算法基于堆叠多个卷积层、池化层和全连接层的深度网络。尽管卷积与全连接操作已在文献中被广泛研究，但处理具有不同时间粒度来源的行为类别的池化操作设计相对较少受到关注，且现有方案主要依赖最大值或平均操作。后者显然无力充分展现行为类别的实际时间粒度，从而构成分类性能的瓶颈。本文提出一种新颖的分层池化设计，可捕获行为识别中不同层级的时间粒度。我们的设计原则为由粗到细，并通过树状结构网络实现；当自上而下遍历该网络时，池化操作不变性减弱，但更具时效性与良好定位。学习该网络中操作的最佳组合（以拟合给定真值）通过求解一个约束最小化问题获得，其解对应于在全局分层池化过程中捕获各层级（及相应时间粒度）贡献的权重分布。所提分层池化不仅具有原理性与理论依据，且对视频长度与分辨率不敏感。在具有挑战性的 UCF-101、HMDB-51 和 JHMDB-21 数据库上进行的广泛实验证实了上述所有结论。
引用
@article{arxiv.2006.04489,
title = {Action Recognition with Deep Multiple Aggregation Networks},
author = {Ahmed Mazari and Hichem Sahbi},
journal= {arXiv preprint arXiv:2006.04489},
year = {2020}
}