Cycle-SUM：用于无监督视频摘要的循环一致对抗 LSTM 网络
计算机视觉与模式识别
2019-04-18 v1
摘要
本文提出了一种无需人工标注的新型无监督视频摘要模型。所提模型称为 Cycle-SUM，采用一种新的循环一致对抗 LSTM 架构，可有效最大化摘要视频的信息保持性与紧凑性。它由帧选择器和基于循环一致学习的评估器组成。选择器是一个双向 LSTM 网络，学习嵌入视频帧间长程关系的视频表示。评估器定义了原始视频与摘要视频之间可学习的信息保持度量，并“监督”选择器识别最具信息量的帧以构成摘要视频。具体而言，评估器由两个生成对抗网络（GAN）组成，其中前向 GAN 学习从摘要视频重建原始视频，而后向 GAN 学习逆过程。该循环学习输出之间的一致性被用作视频摘要的信息保持度量。我们展示了互信息最大化与该循环学习过程的紧密关系。在两个视频摘要基准数据集上的实验验证了 Cycle-SUM 模型优于先前基线的最先进性能与优越性。
引用
@article{arxiv.1904.08265,
title = {Cycle-SUM: Cycle-consistent Adversarial LSTM Networks for Unsupervised Video Summarization},
author = {Li Yuan and Francis EH Tay and Ping Li and Li Zhou and Jiashi Feng},
journal= {arXiv preprint arXiv:1904.08265},
year = {2019}
}
备注
Accepted at AAAI 2019