面向集合监督动作分割的集合约束维特比算法
计算机视觉与模式识别
2020-03-31 v2
摘要
本文研究弱监督动作分割问题，其中真值仅指定训练视频中出现的动作集合，而不指定其真实的时间顺序。先前的工作通常使用独立标注视频帧的分类器来生成伪真值，并采用多示例学习来训练分类器。我们通过指定一个隐马尔可夫模型（HMM）来扩展该框架，该模型考虑了动作类的共现及其时间长度，并基于维特比损失对 HMM 进行显式训练。我们的第一个贡献是提出了一种新的集合约束维特比算法（SCV）。给定视频，SCV 生成满足真值的 MAP 动作分割。该预测在我们的 HMM 训练中被用作逐帧伪真值。我们在训练中的第二个贡献是对共享相同动作类的训练视频之间的特征亲和性进行了新的正则化。在 Breakfast、MPII Cooking2、Hollywood Extended 数据集上的动作分割与对齐评测表明，我们在两项任务上相比先前工作取得了显著的性能提升。
引用
@article{arxiv.2002.11925,
title = {Set-Constrained Viterbi for Set-Supervised Action Segmentation},
author = {Jun Li and Sinisa Todorovic},
journal= {arXiv preprint arXiv:2002.11925},
year = {2020}
}
备注
CVPR 2020 conference paper