SalSum：基于显著性的生成对抗网络视频摘要方法
计算机视觉与模式识别
2020-11-24 v1 多媒体
图像与视频处理
摘要
监控、医疗与电信等基于摄像头的系统每日产生海量视频数据，催生了对高效视频摘要（VS）方法的需求。这些方法应能够创建视频内容的概览。本文中，我们提出一种基于生成对抗网络（GAN）模型的新型 VS 方法，该模型以人眼注视点预训练。所提方法的主要贡献在于，它能在无监督框架下结合感知颜色与时空视觉注意线索，提供感知兼容的视频摘要。我们考虑了多种融合方法以在不确定性与个性化下具备鲁棒性。所提方法在基准数据集 VSUMM 上与最先进的 VS 方法进行比较评估。实验结果表明，SalSum 在 VSUMM 基准上提供了最高的 f-measure 分数，优于最先进的方法。
引用
@article{arxiv.2011.10432,
title = {SalSum: Saliency-based Video Summarization using Generative Adversarial Networks},
author = {George Pantazis and George Dimas and Dimitris K. Iakovidis},
journal= {arXiv preprint arXiv:2011.10432},
year = {2020}
}
备注
18 pages, 5 figures. Submitted to Multimedia Tools and Applications