基于胶囊自编码器的无监督运动表征学习
计算机视觉与模式识别
2021-10-04 v1 机器学习
摘要
我们提出了运动胶囊自编码器（MCAE），其解决了无监督运动表征学习中的一个关键挑战：变换不变性。MCAE 以两级层次结构对运动进行建模。在较低层级，时空运动信号被划分为短促、局部且语义无关的片段。在较高层级，这些片段被聚合以形成完整长度的语义感知段。对于这两个层级，我们通过采用一种新颖设计的胶囊自编码器，用一组学习到的变换不变模板及相应的几何变换来表示运动。这带来了对视角变化的鲁棒且高效的编码。MCAE 在一个新颖的 Trajectory20 运动数据集以及多个真实的基于骨架的人体动作数据集上进行了评估。值得注意的是，它在 Trajectory20 上以显著更少的参数取得了优于基线方法的结果，并在无监督的基于骨架的动作识别任务上达到了最先进的性能。
引用
@article{arxiv.2110.00529,
title = {Unsupervised Motion Representation Learning with Capsule Autoencoders},
author = {Ziwei Xu and Xudong Shen and Yongkang Wong and Mohan S Kankanhalli},
journal= {arXiv preprint arXiv:2110.00529},
year = {2021}
}
备注
Accepted by NeurIPS 2021