面向复杂活动中子动作学习的无监督判别嵌入
计算机视觉与模式识别
2021-05-04 v1
摘要
在长未修剪视频序列背景下的动作识别与检测已受到研究界越来越多的关注。然而，复杂活动的标注在实践中通常耗时且具有挑战性。因此，近期工作开始着手解决复杂活动中子动作的无监督学习问题。本文提出了一种用于复杂活动中子动作无监督学习的新型方法。所提方法将视觉与时间表示映射到潜空间，在其中以端到端方式判别地学习子动作。为此，我们提出将子动作学习为潜概念，并且一种新颖的判别潜概念学习（DLCL）模块有助于学习子动作。所提 DLCL 模块借助潜概念的思想，以无监督方式在潜嵌入空间中学习紧凑表示。其结果是一组可解释为嵌入空间中聚类中心的潜向量。潜空间本身由联合视觉与时间嵌入构成，捕获数据的视觉相似性与时间顺序。我们带有判别潜概念模块的联合学习是新颖的，其消除了显式聚类的需要。我们在三个基准数据集上验证了我们的方法，并表明所提出的视觉-时间嵌入与判别潜概念的组合能够在无监督设定下学习鲁棒的动作表示。
引用
@article{arxiv.2105.00067,
title = {Unsupervised Discriminative Embedding for Sub-Action Learning in Complex Activities},
author = {Sirnam Swetha and Hilde Kuehne and Yogesh S Rawat and Mubarak Shah},
journal= {arXiv preprint arXiv:2105.00067},
year = {2021}
}