中文

慢而稳特征分析:视频中的高阶时间相干性

计算机视觉与模式识别 2016-04-15 v2

摘要

未标记视频如何增强视觉学习?现有方法执行“慢”特征分析,鼓励时间上邻近帧的表示仅表现出微小差异。尽管这一标准方法捕捉了高层视觉信号随时间缓慢变化的事实,它却未能捕捉视觉内容变化*方式*。我们提出将慢特征分析推广为“稳”特征分析。关键思想是施加一个先验,即所学特征空间中的高阶导数必须小。为此,我们训练了一个卷积神经网络,并对来自未标记视频的顺序帧元组使用正则化器。它鼓励特征随时间的变化是平滑的,即类似于最近的变化。使用五个不同的数据集,包括未标记的YouTube和KITTI视频,我们展示了我们的方法在对象、场景和动作识别任务上的效果。我们进一步表明,从未标记视频学到的特征甚至可以超越标准的重度监督预训练方法。

关键词

引用

@article{arxiv.1506.04714,
  title  = {Slow and steady feature analysis: higher order temporal coherence in video},
  author = {Dinesh Jayaraman and Kristen Grauman},
  journal= {arXiv preprint arXiv:1506.04714},
  year   = {2016}
}

备注

in Computer Vision and Pattern Recognition (CVPR) 2016, Las Vegas, NV, June 2016