基于多样性-代表性奖励的深度强化学习无监督视频摘要

视频摘要旨在通过生成简短、精炼且多样并具代表性的摘要，来促进大规模视频浏览。本文中，我们将视频摘要表述为序贯决策过程，并开发了深度摘要网络（DSN）以生成视频摘要。DSN为每一视频帧预测一个概率，指示该帧被选中的可能性，随后基于概率分布采取动作以选取帧，从而形成视频摘要。为训练我们的DSN，我们提出了一种端到端的、基于强化学习的框架，其中我们设计了一种新颖的奖励函数，该函数联合考量生成摘要的多样性与代表性，且完全不依赖标签或用户交互。在训练期间，奖励函数评判所生成摘要的多样性与代表性程度，而DSN则通过学习产生更具多样性与代表性的摘要来争取获得更高奖励。由于无需标签，我们的方法可完全无监督。在两个基准数据集上的大量实验表明，我们的无监督方法不仅优于其他最先进的无监督方法，而且可与多数已发表的监督方法相媲美甚至更优。