基于半监督动作生成对抗网络的细粒度动作分割
计算机视觉与模式识别
2019-09-23 v1
摘要
本文针对连续细粒度动作分割问题展开研究，该问题中多个动作存在于未分割的视频流中。该任务的挑战在于需要表示动作的层次性质并检测动作之间的转换，从而能够有效地在视频中定位动作。我们提出了一种新颖的循环半监督生成对抗网络（GAN）模型，用于连续细粒度人体动作分割。通过一个由门控注意力单元构成的新型门控上下文提取器（GCE）模块捕获时序上下文信息，该模块将排队的上下文信息引导通过生成器模型，以增强动作分割。该 GAN 以半监督方式学习特征，使模型能够在标准的无监督 GAN 学习过程中联合进行动作分类。我们对不同的架构变体进行了广泛评估，以证明所提网络架构的重要性，并表明其在三个具有挑战性的数据集——50 Salads、MERL Shopping 和 Georgia Tech Egocentric Activities 数据集——上能够超越当前最先进的方法。
引用
@article{arxiv.1909.09269,
title = {Fine-grained Action Segmentation using the Semi-Supervised Action GAN},
author = {Harshala Gammulle and Simon Denman and Sridha Sridharan and Clinton Fookes},
journal= {arXiv preprint arXiv:1909.09269},
year = {2019}
}
备注
Published in Pattern Recognition Journal