基于综合特征利用张量模型的鲁棒视频指纹

基于内容的近重复视频检测（NDVD）对于有效搜索与检索至关重要，而鲁棒视频指纹是NDVD的一种良好解决方案。大多数现有视频指纹方法使用单一特征或拼接不同特征来生成视频指纹，并在噪声添加和模糊等单模态修改下表现出良好性能。然而，当它们遭受组合修改时，性能会一定程度下降，因为此类特征无法完整刻画视频内容。相比之下，不同特征间的辅助与共识可提升视频指纹的性能。因此，在本研究中，我们基于张量模型挖掘不同特征间的辅助与共识，并提出一种新的综合特征以在所提视频指纹框架中充分利用它们。我们还分析了该综合特征究竟是什么以表征原始视频。在该框架中，视频最初被设为包含不同特征的高阶张量，并且视频张量通过Tucker模型分解，其解确定了分量数。随后，综合特征由张量分解得到的低阶张量生成。最后，使用该特征计算视频指纹。还基于核张量提出了一种用于缩小搜索范围的匹配策略。该鲁棒视频指纹框架不仅对单模态修改具有鲁棒性，也对它们的组合具有鲁棒性。