弱监督动作标注的连接时序建模
计算机视觉与模式识别
2016-07-29 v1
摘要
我们提出了一种用于视频动作标注的弱监督框架，训练时仅需已知动作的发生顺序。其核心挑战在于，训练期间输入（视频）与标签（动作）序列之间的逐帧对齐是未知的。我们通过引入扩展连接时序分类（ECTC）框架来解决这一问题，该框架利用动态规划高效评估所有可能的对齐，并显式地强制它们与帧间视觉相似性保持一致。这使模型免受视觉不一致或退化对齐的干扰，而无需时序监督。我们进一步将该框架扩展到半监督情形，即视频中仅有少量帧被稀疏标注。在每段视频标注帧数少于1%的情况下，我们的方法能够超越现有的半监督方法，并达到与全监督方法相当的性能。
引用
@article{arxiv.1607.08584,
title = {Connectionist Temporal Modeling for Weakly Supervised Action Labeling},
author = {De-An Huang and Li Fei-Fei and Juan Carlos Niebles},
journal= {arXiv preprint arXiv:1607.08584},
year = {2016}
}
备注
To appear in ECCV 2016