用于无监督动作分割的动作洗牌交替学习
计算机视觉与模式识别
2021-04-07 v1
摘要
本文研究无监督动作分割问题。先前工作通过编码视频中帧时间位置的特征嵌入来捕获视频的帧级时间结构。我们在先前工作的基础上提出一种新的自监督学习（SSL）特征嵌入方法，该方法同时考虑视频的帧级和动作级结构。我们的SSL训练一个RNN来识别正、负动作序列，并将该RNN的隐藏层作为我们新的动作级特征嵌入。正、负序列由从视频中采样的动作段组成，其中前者中采样的动作段保持其在视频中的时间顺序，而后者则被洗牌。由于动作标注不可用且我们的SSL需要访问动作段，我们指定了一个显式建模动作长度的HMM，并使用Viterbi算法推断MAP动作分割。所得动作分割用作伪真值来估计我们的动作级特征嵌入并更新HMM。我们在广义EM框架内交替执行上述步骤，从而确保收敛。我们在Breakfast、YouTube Instructions和50Salads数据集上的评估取得了优于当前最优方法的结果。
引用
@article{arxiv.2104.02116,
title = {Action Shuffle Alternating Learning for Unsupervised Action Segmentation},
author = {Jun Li and Sinisa Todorovic},
journal= {arXiv preprint arXiv:2104.02116},
year = {2021}
}
备注
CVPR 2021