用于缓解图像-文本匹配中梯度消失的选择性难负样本挖掘
计算机视觉与模式识别
2023-03-02 v1 多媒体
摘要
近来，一系列图像-文本匹配（ITM）方法取得了令人印象深刻的性能。然而，我们观察到大多数现有ITM模型在训练初期遭受梯度消失，使其易于陷入局部极小。大多数ITM模型采用带难负样本挖掘（HN）的三元组损失作为优化目标。我们发现仅使用难负样本优化ITM模型极易导致梯度消失。本文中，我们推导了训练期间梯度消失的条件：当正样本对相似度与负样本对相似度之差接近0时，图像与文本编码器上的梯度均将趋近于0。为缓解梯度消失问题，我们提出选择性难负样本挖掘（SelHN）策略，其根据梯度消失条件选择是否挖掘难负样本。SelHN可即插即用地应用于现有ITM模型，赋予其更好的训练行为。为进一步确保梯度反向传播，我们构建了带SelHN的残差视觉语义嵌入模型，记为RVSE++。在两个ITM基准上的大量实验证明了RVSE++的实力，取得了最先进的性能。
引用
@article{arxiv.2303.00181,
title = {Selectively Hard Negative Mining for Alleviating Gradient Vanishing in Image-Text Matching},
author = {Zheng Li and Caili Guo and Xin Wang and Zerun Feng and Zhongtian Du},
journal= {arXiv preprint arXiv:2303.00181},
year = {2023}
}