用于带噪标签跨模态检索的鲁棒自步哈希

由于在大规模数据中具有低存储成本和高计算效率，跨模态哈希 (CMH) 已成为跨模态检索的流行技术。现有大多数方法隐式假设多模态数据被正确标记，但在现实场景中由于不可避免的不完美标注（即带噪标签），这既昂贵甚至难以实现。受人类认知学习的启发，少数方法引入自步学习 (SPL) 来逐步从易到难样本训练模型，这通常用于减轻特征噪声或异常值的影响。如何利用 SPL 来减轻带噪标签对哈希模型的误导是一个较少触及的问题。为了解决这个问题，我们提出了一种名为带噪标签鲁棒自步哈希的新认知跨模态检索方法，该方法能够模仿人类认知过程识别噪声，同时对带噪标签保持鲁棒性。具体而言，我们首先提出了一种对比哈希学习方案以提升多模态一致性，从而缩小固有的语义鸿沟。随后，我们提出中心聚合学习以减轻类内差异。最后，我们提出噪声容忍自步哈希，动态估计每个实例的学习难度，并通过难度级别区分带噪标签。对于所有估计的干净对，我们进一步采用自步正则化器，逐步从易到难学习哈希码。大量实验表明，所提出的 RSHNL 显著优于当前最先进的 CMH 方法。