探索用于时序动作定位的帧分割网络
计算机视觉与模式识别
2019-02-15 v1
摘要
时序动作定位是计算机视觉的一项重要任务。尽管已有许多方法被提出，如何精确预测动作片段的时间位置仍是一个开放性问题。大多数最先进的工作在由动作提议预先确定的视频片段上训练动作分类器。然而，近期工作发现，一个理想的模型应超越片段级别，在时间上以细粒度进行密集预测以确定精确的时间边界。本文中，我们提出一种帧分割网络（FSN），其在 2D 空间 CNN 之上放置一个时序 CNN。空间 CNN 负责在空域抽象语义，而时序 CNN 负责引入时间上下文信息并进行密集预测。所提出的 FSN 可利用空间与时间上下文信息对视频片段进行帧级密集预测。FSN 以端到端方式训练，因此模型可在空间与时间域联合优化。我们还将 FSN 适配用于弱监督场景（WFSN），即训练时仅提供视频级标签。在公开数据集上的实验结果表明，FSN 在帧级动作定位与时序动作定位中均取得了优越性能。
引用
@article{arxiv.1902.05488,
title = {Exploring Frame Segmentation Networks for Temporal Action Localization},
author = {Ke Yang and Xiaolong Shen and Peng Qiao and Shijie Li and Dongsheng Li and Yong Dou},
journal= {arXiv preprint arXiv:1902.05488},
year = {2019}
}
备注
Accepted by Journal of Visual Communication and Image Representation