缓解资源受限对比图文检索中的预测特征抑制

为训练图文检索（ICR）方法，对比损失函数常作为优化函数的选择。遗憾的是，对比式 ICR 方法易受预测特征抑制的影响。预测特征是指能正确指示查询与候选项之间相似性的特征。然而，在训练中存在多个预测特征时，编码器模型倾向于抑制冗余的预测特征，因为这些特征对于学习区分正负样本对并非必需。尽管某些预测特征在训练时是冗余的，它们在评估时可能相关。我们提出一种缓解资源受限 ICR 方法预测特征抑制的方法：隐目标解码（LTD）。我们在对比式 ICR 框架中增加一个额外的解码器，以在通用句子编码器的潜空间重建输入描述，从而防止图像与描述编码器抑制预测特征。我们将 LTD 目标实现为优化约束，以确保在主要优化对比损失的同时重建损失低于某界值。重要的是，LTD 不依赖于额外的训练数据或昂贵的（困难）负样本挖掘策略。实验表明，与在输入空间重建输入描述不同，LTD 缓解了预测特征抑制，其 recall@k、r-precision 与 nDCG 分数均高于对比式 ICR 基线。此外，我们证明 LTD 应作为优化约束而非双优化目标实现。最后，我们展示 LTD 可应用于不同的对比学习损失及多种资源受限 ICR 方法。