一种强鲁棒的文本-图像匹配基线

我们回顾文本-图像匹配模型的现有方案，并提出训练与推断两方面的改进。首先，我们从经验上展示训练文本-图像嵌入中广泛使用的两种流行损失（sum与max-margin损失）的局限，并提出一种折衷：kNN-margin损失，其1）利用来自难负样本的信息，且2）对所有$K$个最 hardest 样本加以考虑，容忍伪负样本与离群点，从而对噪声鲁棒。其次，我们倡导在推断时使用反Softmax（Inverted Softmax, \textsc{Is}）与跨模态局部缩放（Cross-modal Local Scaling, \textsc{Csls}）以缓解高维嵌入空间中的所谓中心性问题（hubness problem），大幅提升所有指标的分数。