通过鲁棒循环自编码器无监督提取视频精彩片段
计算机视觉与模式识别
2015-10-07 v1
摘要
随着 Instagram 和 Vine 等短视频分享平台日益流行，对自动提取视频精彩片段技术的需求不断增长。先前工作使用启发式规则或有监督学习处理该问题，而我们提出一种无监督学习方法，利用 YouTube 等社交媒体网站上大量用户编辑的视频。基于这样一个理念：某一视频类别中最显著的子事件通常普遍存在于编辑后的视频中，而较无趣的事件出现频率较低，我们通过在一个针对每个特定关注类别查询得到的用户编辑视频集合上训练的鲁棒循环自编码器来识别这些显著子事件。该自编码器使用提出的收缩指数损失函数进行训练，使其对网络爬取训练数据中的噪声具有鲁棒性，并配置双向长短期记忆(LSTM)~\cite{LSTM:97} 单元以更好地建模精彩片段的时间结构。与有监督技术不同，我们的方法仅使用一组下载的编辑后视频即可推断精彩片段，而无需它们编辑前的对应视频（这些视频在网上很少可用）。大量实验表明了我们所提方案在这一极具挑战性的无监督设定下的前景。
引用
@article{arxiv.1510.01442,
title = {Unsupervised Extraction of Video Highlights Via Robust Recurrent Auto-encoders},
author = {Huan Yang and Baoyuan Wang and Stephen Lin and David Wipf and Minyi Guo and Baining Guo},
journal= {arXiv preprint arXiv:1510.01442},
year = {2015}
}
备注
To Appear in ICCV 2015