AutoLoc：弱监督时序动作定位
计算机视觉与模式识别
2018-12-18 v2
摘要
未修剪视频中的时序动作定位（TAL）对许多应用十分重要。但标注片段级真值（动作类别与时序边界）非常昂贵。这引发了在弱监督下解决 TAL 的兴趣，即训练期间仅提供视频级标注。然而，最先进的弱监督 TAL 方法仅关注于在时间上生成良好的类激活序列（CAS），并对 CAS 进行简单阈值化以定位动作。本文中，我们首先开发了一种称为 AutoLoc 的新型弱监督 TAL 框架，直接预测每个动作实例的时序边界。我们提出了一种新颖的外部-内部对比（OIC）损失，以自动发现训练此类边界预测器所需的片段级监督。我们的方法取得了显著改进的性能：在 IoU 阈值 0.5 下，我们的方法将 THUMOS'14 上的 mAP 从 13.7% 提升至 21.2%，将 ActivityNet 上的 mAP 从 7.4% 提升至 27.3%。同样令人鼓舞的是，我们的弱监督方法与某些全监督方法取得了相当的结果。
引用
@article{arxiv.1807.08333,
title = {AutoLoc: Weakly-supervised Temporal Action Localization},
author = {Zheng Shou and Hang Gao and Lei Zhang and Kazuyuki Miyazawa and Shih-Fu Chang},
journal= {arXiv preprint arXiv:1807.08333},
year = {2018}
}
备注
Accepted by ECCV'18