用于连续细粒度动作分割的耦合生成对抗网络
计算机视觉与模式识别
2019-09-23 v1
摘要
我们提出了一种新颖的条件生成对抗网络（cGAN）模型，用于连续细粒度人体动作分割，该模型利用多模态数据和习得的场景上下文信息。所提出的方法使用两个 GAN：称为动作 GAN 和辅助 GAN，其中动作 GAN 被训练用于处理当前 RGB 帧，而辅助 GAN 则利用深度或光流等补充信息。两个 GAN 的目标都是生成相似的"动作编码"，即当前动作的向量表示。为了促进这一过程，使用了一个融合了来自两种模态的数据和近期输出的上下文提取器来提取上下文信息以辅助识别。其结果是一个循环 GAN 架构，它从多种特征模态中学习特定于任务的损失函数。对所提出模型变体的广泛评估表明了在所提出的网络中利用不同信息流（如上下文和辅助信息）的重要性；并表明我们的模型在三个广泛使用的数据集（50 Salads、MERL Shopping 和 Georgia Tech Egocentric Activities，包含静态和动态相机设置）上能够超越最先进的方法。
引用
@article{arxiv.1909.09283,
title = {Coupled Generative Adversarial Network for Continuous Fine-grained Action Segmentation},
author = {Harshala Gammulle and Tharindu Fernando and Simon Denman and Sridha Sridharan and Clinton Fookes},
journal= {arXiv preprint arXiv:1909.09283},
year = {2019}
}
备注
WACV 2019