PAN：通过学习时间外观持续性实现快速动作识别
计算机视觉与模式识别
2020-08-11 v1
摘要
在视频中高效建模动态运动信息对动作识别任务至关重要。多数最先进方法严重依赖稠密光流作为运动表示。尽管将光流与 RGB 帧结合作为输入可取得优异识别性能，但光流提取非常耗时，这无疑不利于实时动作识别。本文通过摆脱对光流的依赖来关注快速动作识别。我们的动机源于如下观察：运动边界的微小位移是区分动作的最关键要素，因此我们设计了一种称为外观持续性（PA）的新运动线索。与光流不同，我们的 PA 更专注于在边界处提炼运动信息，且更高效——仅在特征空间累积像素级差异，而非对所有可能运动向量进行穷举块搜索。我们的 PA 在运动建模速度上比传统光流快 1000 倍以上（8196fps 对比 8fps）。为进一步将 PA 中的短期动态聚合为长期动态，我们还设计了一种称为多时间尺度聚合池化（VAP）的全局时间融合策略，可自适应建模跨不同时间尺度的长程时间关系。最终我们将提出的 PA 与 VAP 结合，构成具有强时间建模能力的统一框架——持久外观网络（PAN）。在六个具挑战性的动作识别基准上的大量实验验证，我们的 PAN 在低 FLOPs 下优于近期最先进方法。代码与模型见：https://github.com/zhang-can/PAN-PyTorch。
引用
@article{arxiv.2008.03462,
title = {PAN: Towards Fast Action Recognition via Learning Persistence of Appearance},
author = {Can Zhang and Yuexian Zou and Guang Chen and Lei Gan},
journal= {arXiv preprint arXiv:2008.03462},
year = {2020}
}
备注
submitted to TIP