你的负样本未必是真负样本：通过假负样本消除提升图文匹配
计算机视觉与模式识别
2023-08-09 v1 信息检索
多媒体
摘要
大多数现有图文匹配方法采用三元组损失作为优化目标，而为<锚点, 正样本, 负样本>三元组选择合适的负样本对于有效训练模型十分重要，例如困难负样本使模型学习高效且有效。然而，我们观察到现有方法主要采用最相似的样本作为困难负样本，而这些可能并非真负样本。换言之，具有高相似度但未与锚点配对的样本可能保留正语义关联，我们称之为假负样本。在三元组损失中排斥这些假负样本会误导语义表示学习并导致较差的检索性能。本文提出一种新颖的假负样本消除(FNE)策略，通过采样选择负样本，以缓解假负样本带来的问题。具体而言，我们首先基于图像与文本编码器提取的特征，分别根据样本与锚点的相似度构建正样本与负样本的分布。然后基于给定样本与锚点的相似度及上述分布，通过贝叶斯规则计算其假负样本概率，该概率在负采样过程中用作采样权重。由于小批量中可能存在无任何假负样本的情况，我们设计了一个带动量的记忆模块以保留大型负样本缓冲，并在该缓冲上实施负采样策略。此外，为使模型聚焦于困难负样本，我们通过截断策略对简单负样本重新分配采样权重。我们在Flickr30K和MS-COCO上进行了充分实验，结果证明了所提假负样本消除策略的优越性。代码见 https://github.com/LuminosityX/FNE。
引用
@article{arxiv.2308.04380,
title = {Your Negative May not Be True Negative: Boosting Image-Text Matching with False Negative Elimination},
author = {Haoxuan Li and Yi Bin and Junrong Liao and Yang Yang and Heng Tao Shen},
journal= {arXiv preprint arXiv:2308.04380},
year = {2023}
}
备注
Accepted at ACM MM 2023