用于动作分割的弱监督基于能量的学习
计算机视觉与模式识别
2019-10-01 v1
摘要
本文研究在训练弱监督条件下为视频帧标注动作类别，即我们已知动作的时间顺序，但训练视频中动作的起止帧未知。遵循先前工作，我们使用基于门控循环单元(GRU)的隐马尔可夫模型(HMM)进行帧标注。我们的关键贡献是一种新的约束判别前向损失(CDFL)，用于在弱监督下训练 HMM 和 GRU。先前工作通常基于单一推断出的视频分割估计损失，而我们的 CDFL 判别训练视频所有有效与无效帧标注的能量。有效帧标注满足动作的真实时间顺序，无效标注则违背真实顺序。我们给出了一个高效的递归算法，借助分割能量的 logadd 函数计算 CDFL。我们在动作分割与对齐上的评估在基准 Breakfast Action、Hollywood Extended 和 50Salads 数据集上取得了优于当前最优的结果。
引用
@article{arxiv.1909.13155,
title = {Weakly Supervised Energy-Based Learning for Action Segmentation},
author = {Jun Li and Peng Lei and Sinisa Todorovic},
journal= {arXiv preprint arXiv:1909.13155},
year = {2019}
}
备注
ICCV 2019 Oral paper