慢而稳特征分析:视频中的高阶时间相干性
计算机视觉与模式识别
2016-04-15 v2
摘要
未标记视频如何增强视觉学习?现有方法执行“慢”特征分析,鼓励时间上邻近帧的表示仅表现出微小差异。尽管这一标准方法捕捉了高层视觉信号随时间缓慢变化的事实,它却未能捕捉视觉内容变化*方式*。我们提出将慢特征分析推广为“稳”特征分析。关键思想是施加一个先验,即所学特征空间中的高阶导数必须小。为此,我们训练了一个卷积神经网络,并对来自未标记视频的顺序帧元组使用正则化器。它鼓励特征随时间的变化是平滑的,即类似于最近的变化。使用五个不同的数据集,包括未标记的YouTube和KITTI视频,我们展示了我们的方法在对象、场景和动作识别任务上的效果。我们进一步表明,从未标记视频学到的特征甚至可以超越标准的重度监督预训练方法。
引用
@article{arxiv.1506.04714,
title = {Slow and steady feature analysis: higher order temporal coherence in video},
author = {Dinesh Jayaraman and Kristen Grauman},
journal= {arXiv preprint arXiv:1506.04714},
year = {2016}
}
备注
in Computer Vision and Pattern Recognition (CVPR) 2016, Las Vegas, NV, June 2016