KORSAL:基于关键点检测的在线实时时空动作定位
计算机视觉与模式识别
2021-11-08 v1
摘要
视频中的实时在线动作定位是一个关键但极具挑战性的问题。准确的动作定位需要利用时间和空间信息。近期尝试通过使用计算密集的 3D CNN 架构或具有光流的高度冗余双流架构来实现,这使得它们都不适合实时、在线应用。为在极具挑战的实时约束下完成活动定位,我们提出利用快速高效的基于关键点的边界框预测来空间定位动作。随后我们引入一种管状链接算法,在存在遮挡的情况下保持动作管的时间连续性。此外,我们通过将时间和空间信息组合为单一网络的级联输入,消除了对双流架构的需求,使网络能从两类信息中学习。时间信息使用结构相似性指数图高效提取,而非计算密集的光流。尽管我们的方法简单,我们的轻量级端到端架构在具有挑战性的 UCF101-24 数据集上取得了 74.7% 的 state-of-the-art 帧-mAP,较先前最佳在线方法提升 6.4%。相比在线与离线方法我们也取得了 state-of-the-art 视频-mAP 结果。此外,我们的模型达到 41.8 FPS 的帧率,较当代实时方法提升 10.7%。
引用
@article{arxiv.2111.03319,
title = {KORSAL: Key-point Detection based Online Real-Time Spatio-Temporal Action Localization},
author = {Kalana Abeywardena and Shechem Sumanthiran and Sakuna Jayasundara and Sachira Karunasena and Ranga Rodrigo and Peshala Jayasekara},
journal= {arXiv preprint arXiv:2111.03319},
year = {2021}
}
备注
7 pages