面向无监督视频检索的双流保知识哈希方法

无监督视频哈希通常通过学会重建输入视频来优化二值码。这种重建约束将大量精力耗费在帧级时间上下文变化上，而未聚焦于对检索更有用的视频级全局语义。因此，我们通过将视频信息解耦为依赖于重建的信息和依赖于语义的信息，使语义提取与重建约束相分离，从而解决该问题。具体而言，我们首先设计了一个简单的双流结构，包括时间层和哈希层。然后，在自监督获得的语义相似度知识的辅助下，哈希层学习捕捉用于语义检索的信息，而时间层学习捕捉用于重建的信息。以此方式，模型自然地将解耦后的语义保留到二值码中。通过全面的实验验证，我们的方法在三个视频基准上持续优于当前最优方法。