基于联合嵌入与稀疏优化的多视角监控视频摘要

大多数传统的视频摘要方法旨在为单视角视频生成有效的摘要，因此在 summarizing 摄像机网络中的多视角视频时，无法充分利用复杂的视角内与视角间相关性。本文旨在对多视角视频进行摘要，提出了一种基于联合嵌入与稀疏代表选择的新型无监督框架。其目标函数包含两部分：第一部分通过嵌入捕捉多视角相关性，有助于提取多样化的代表集；第二部分使用 $\ell_{2,1}$ 范数对稀疏性进行建模，同时为摘要选择代表镜头。我们提出联合优化这两个目标，使得嵌入不仅能刻画相关性，还能指示稀疏代表选择的需求。我们提出了一种基于半二次最小化的高效交替算法，以求解所提出的非光滑且非凸目标函数，并进行了收敛性分析。相较于现有方法（state-of-the-art），所提方法的一个关键优势在于它能在不假设多视角视频之间存在任何先验对应/对齐（例如未标定的摄像机网络）的情况下对其进行摘要。在多个多视角数据集上的严格实验表明，我们的方法明显优于现有方法。