基于迭代训练与简化GAN的无监督视频摘要
计算机视觉与模式识别
2024-12-10 v2 机器学习
摘要
本文提出一种新颖的无监督自动视频摘要方法，借鉴生成对抗网络（GAN）的思想但去除判别器，采用简单损失函数，并分离模型不同部分的训练。还应用迭代训练策略，通过交替训练重构器与帧选择器多个迭代。此外，在训练与评估的摘要生成中向模型加入可训练掩码向量。该方法还包含无监督模型选择算法。在两个公开数据集（SumMe与TVSum）及我们构建的四个数据集（Soccer、LoL、MLB与ShortMLB）上的实验结果表明各组件对模型性能的有效性，尤其是迭代训练策略。与最先进方法的评估与比较凸显了所提方法在性能、稳定性及训练效率上的优势。
引用
@article{arxiv.2311.03745,
title = {Unsupervised Video Summarization via Iterative Training and Simplified GAN},
author = {Hanqing Li and Diego Klabjan and Jean Utke},
journal= {arXiv preprint arXiv:2311.03745},
year = {2024}
}