无监督人体动作特征学习：作为姿态嵌入流形中的轨迹
计算机视觉与模式识别
2018-12-07 v1
摘要
无监督的人体动作建模框架可提供有用的姿态序列表示，可用于多种姿态分析应用。本文提出一种新颖的时间姿态序列建模框架，能够高效地将三维人体骨架关节的动态嵌入到连续隐空间中。与以往工作探索的端到端框架不同，我们将个体姿态表示学习的任务与在姿态嵌入空间中将动作作为轨迹学习的任务解耦。为了实现具有改进重建效果的连续姿态嵌入流形，我们提出了一种名为编码器 GAN（Encoder GAN，或 EnGAN）的无监督流形学习方法。进一步，我们使用 EnGAN 生成的姿态嵌入，通过双向 RNN 自编码器架构 PoseRNN 来建模人体动作。我们引入一阶梯度损失以显式地增强预测运动序列的时间规律性。我们还研究了一种层次化特征融合技术，用于同时建模局部骨架关节与全局姿态变化。我们在 SBU 交互数据集上针对细粒度动作识别任务，展示了所学表示相对于其他有监督与无监督学习的运动嵌入的最先进的迁移能力。此外，我们通过可视化姿态嵌入空间中的骨架姿态重建与插值，以及重建姿态轨迹的低维主成分投影，展示了所提框架的定性优势。
引用
@article{arxiv.1812.02592,
title = {Unsupervised Feature Learning of Human Actions as Trajectories in Pose Embedding Manifold},
author = {Jogendra Nath Kundu and Maharshi Gor and Phani Krishna Uppala and R. Venkatesh Babu},
journal= {arXiv preprint arXiv:1812.02592},
year = {2018}
}
备注
Accepted at WACV 2019