基于深度强化学习分类的视频摘要方法
计算机视觉与模式识别
2018-09-05 v3
摘要
大多数现有视频摘要方法基于监督或无监督学习。本文提出一种基于强化学习的弱监督方法，利用易于获取的视频级类别标签，并促使摘要包含与类别相关的信息且保持类别可识别性。具体而言，我们将视频摘要建模为序贯决策过程，并使用深度 Q 学习（DQSN）训练摘要网络。同时训练一个配套分类网络，为 DQSN 的训练提供奖励。借助该分类网络，我们基于分类结果开发了全局可识别性奖励。关键的是，为应对长序列强化学习中的时序延迟与稀疏奖励问题，还提出了一种新颖的基于稠密排序的奖励。在两个基准数据集上的大量实验表明，所提方法达到了最先进的性能。
引用
@article{arxiv.1807.03089,
title = {Video Summarisation by Classification with Deep Reinforcement Learning},
author = {Kaiyang Zhou and Tao Xiang and Andrea Cavallaro},
journal= {arXiv preprint arXiv:1807.03089},
year = {2018}
}
备注
In Proc. of BMVC 2018