通过选择硬负样本进行细分类图像-文本检索的主动学习
计算机视觉与模式识别
2024-05-28 v1 机器学习
摘要
获取足够的配对数据对于训练图像-文本检索（ITR）模型至关重要，但收集配对数据成本很高。为此，本文提出了一种用于ITR的主动学习算法，能够以较低成本收集配对数据。以前的研究假设图像-文本配对已给定且其类别标签由标注员提供。然而，近期的ITR研究中，类别标签的重要性降低，因为检索模型仅需图像-文本配对即可训练。因此，我们设定了一种主动学习场景，即给定未配对的图像（或文本），标注员提供相应的文本（或图像）以构建配对数据。本文所提出算法的核心思想是选择能够作为现有文本（或图像）硬负样本的未配对图像（或文本）。为此，我们引入一种新颖的评分函数来选择硬负样本。我们在Flickr30K和MS-COCO数据集上验证了所提方法的有效性。
引用
@article{arxiv.2405.16301,
title = {Active Learning for Finely-Categorized Image-Text Retrieval by Selecting Hard Negative Unpaired Samples},
author = {Dae Ung Jo and Kyuewang Lee and JaeHo Chung and Jin Young Choi},
journal= {arXiv preprint arXiv:2405.16301},
year = {2024}
}