基于深度时间金字塔的人类动作识别
计算机视觉与模式识别
2019-05-03 v1
摘要
深度卷积神经网络（CNNs）如今在不同模式识别任务（包括动作识别）中取得显著飞跃。当前的 CNNs 越来越深、越来越依赖数据，这使其成功依赖于大量标注训练数据的充裕性。CNNs 还依赖最大/平均池化来降低输出层的维度，从而减弱其对标注数据可用性的敏感度。然而，该过程可能稀释上游卷积层的信息，进而影响所学表示的判别力，尤其当所学类别为细粒度时。在本文中，我们引入一种新颖的分层聚合设计用于最终池化，该设计根据动作类别的实际粒度来控制所学表示的粒度。我们的方案基于树形结构的时间金字塔，其在不同层级聚合 CNNs 的输出。该层级的顶层致力于粗粒度类别，而深层更适合细粒度类别。我们时间金字塔的设计基于求解一个约束最小化问题，其解对应于时间金字塔中不同表示的权重分布。使用具有挑战性的 UCF101 数据库进行的实验显示了我们的分层设计相对于其他相关方法的相关性。
引用
@article{arxiv.1905.00745,
title = {Human Action Recognition with Deep Temporal Pyramids},
author = {Ahmed Mazari and Hichem Sahbi},
journal= {arXiv preprint arXiv:1905.00745},
year = {2019}
}