基于主动学习的稀疏半监督动作识别
计算机视觉与模式识别
2020-12-09 v2 机器学习
摘要
当前基于骨架的动作识别最优方法为有监督方法并依赖标签。这种依赖因标注涉及的挑战及错误标注数据而限制了性能。已有无监督方法被提出，然而它们将序列组织为簇且仍需要标签来将簇与动作关联。本文中，我们提出一种用于基于骨架的动作识别的新方法，称为 SESAR，它连接了这些途径。SESAR 利用来自未标注数据的信息以及主动筛选用于标注的少数序列，将无监督训练与稀疏监督引导相结合。SESAR 由两个主要组件构成，其中第一个组件通过重建序列的编码器-解码器 RNN 学习未标注动作序列的潜表示，第二个组件执行主动学习以基于簇和分类不确定性选择待标注序列。当两个组件同时在基于骨架的动作序列上训练时，它们对应于一个仅用少量标注样本即可进行鲁棒动作识别的系统。我们在具有多序列和动作的常见数据集上评估我们的系统，如 NW UCLA、NTU RGB+D 60 和 UWA3D。当应用于低至 1% 数据的稀疏标注样本时，我们的结果优于独立的基于骨架的有监督、带簇识别的无监督以及主动学习动作识别方法。
引用
@article{arxiv.2012.01740,
title = {Sparse Semi-Supervised Action Recognition with Active Learning},
author = {Jingyuan Li and Eli Shlizerman},
journal= {arXiv preprint arXiv:2012.01740},
year = {2020}
}