AutoSSVH:面向高效自监督视频哈希的自动化帧采样探索
计算机视觉与模式识别
2025-04-07 v1 信息检索
多媒体
摘要
自监督视频哈希(Self-Supervised Video Hashing, SSVH)利用未标注的训练视频将视频压缩为哈希码,以实现高效的索引与检索。现有方法依赖随机帧采样来学习视频特征,并对所有帧一视同仁。这会导致次优的哈希码,因为其忽略了帧特有的信息密度与重建难度。为解决这一局限,我们提出了一种新框架,称为 AutoSSVH,采用基于哈希的对比学习进行对抗式帧采样。我们的对抗式采样策略能够自动识别并选取信息更丰富、更具挑战性的帧用于重建,从而增强编码能力。此外,我们引入了哈希分量投票策略以及点对集合(point-to-set, P2Set)哈希对比目标,有助于在汉明空间中捕捉复杂的视频间语义关系,并提升所学哈希码的可区分性。大量实验表明,AutoSSVH 相比现有最先进方法取得了更优的检索效能与效率。代码已开源,见 https://github.com/EliSpectre/CVPR25-AutoSSVH。
引用
@article{arxiv.2504.03587,
title = {AutoSSVH: Exploring Automated Frame Sampling for Efficient Self-Supervised Video Hashing},
author = {Niu Lian and Jun Li and Jinpeng Wang and Ruisheng Luo and Yaowei Wang and Shu-Tao Xia and Bin Chen},
journal= {arXiv preprint arXiv:2504.03587},
year = {2025}
}
备注
Accepted by CVPR'25. 11 pages, 5 figures, 3 tables