慢动作至关重要：一种用于弱监督时序动作定位的慢动作增强网络
计算机视觉与模式识别
2022-11-22 v1
摘要
弱监督时序动作定位（WTAL）旨在仅利用弱监督信息（如视频级标签）在未裁剪视频中定位动作。多数现有模型以固定时间尺度处理所有输入视频。然而，此类模型对运动节奏异于“正常”速度的动作不敏感，尤其是慢动作实例——其以远低于正常速度对应动作的速度完成运动。由此产生慢动作模糊问题：难以从“正常”速度视频中挖掘显著的慢动作信息。本文提出一种称为慢动作增强网络（SMEN）的新框架，通过补偿WTAL网络对慢动作片段的敏感性来提升其能力。所提SMEN包含挖掘模块与定位模块。挖掘模块利用正常运动与慢运动间的关系生成掩码以挖掘慢动作相关特征；定位模块将挖掘的慢动作特征作为补充信息以提升时序动作定位结果。我们的框架可被现有WTAL网络轻松适配，使其对慢动作动作更敏感。在三个基准上的大量实验证明了所提框架的优异性能。
引用
@article{arxiv.2211.11324,
title = {Slow Motion Matters: A Slow Motion Enhanced Network for Weakly Supervised Temporal Action Localization},
author = {Weiqi Sun and Rui Su and Qian Yu and Dong Xu},
journal= {arXiv preprint arXiv:2211.11324},
year = {2022}
}