感知多样性的多视频摘要

大多数视频摘要方法侧重于从单个视频中提取摘要；我们提出了一种用于摘要视频集合的无监督框架。我们观察到，集合中的每个视频可能包含其他视频所没有的信息，因此探索其潜在的互补性有助于创建多样化的信息丰富摘要。我们通过探索视频内部的互补性，开发了一种用于多视频摘要的感知多样性的稀疏优化新方法。我们的方法提取的多视频摘要既具有趣味性，又能代表性地描述整个视频集合。为了高效求解我们的优化问题，我们开发了一种交替最小化算法，该算法在固定其他视频的同时，每次针对一个视频最小化总体目标函数。此外，我们引入了一个新的基准数据集 Tour20，其中包含 140 个视频以及多个人工创建的摘要，这些摘要是在受控实验中获取的。最后，通过在新的 Tour20 数据集和多个其他多视角数据集上的广泛实验，我们表明所提出的方法在主题导向视频摘要和摄像机网络中的多视角视频摘要这两个问题上均明显优于现有方法（state-of-the-art）。