利用大规模无标注数据的快速交互式图像检索

交互式图像检索系统通过分析用户提供的示例图像与反馈，学习数据库中哪些图像属于用户的查询概念。挑战在于以最少的用户交互检索出相关图像。本工作中，我们提出将该问题表述为二分类任务，即把数据库中所有图像分类为与用户查询概念相关或不相关。我们的方法结合主动学习与基于图的半监督学习（GSSL）来解决此问题。主动学习通过查询信息量最大的点的标签来减少用户交互次数，而 GSSL 允许利用丰富的无标注数据以及用户提供的有限标注数据。为高效找到信息量最大的点，我们采用基于不确定性采样的方法，查询最接近分类器决策边界的点的标签。我们使用自适应阈值的启发式方法估计该决策边界。为利用海量无标注数据，我们采用基于高效近似的方法，将 GSSL 的复杂度从 $O(n^3)$ 降至 $O(n)$，使 GSSL 可扩展。我们通过融合多模态信息（如基于深度学习的模型提取的视觉信息，以及从 WordNet 提取的语义信息），使分类器对大型数据库中图像的多样性和噪声标签具有鲁棒性。在 AnimalWithAttributes 和 Imagenet（120 万张图像）数据集上定义的概念的实验中，少量相关反馈轮次内即获得高 F1 分数，表明了我们所方法的有效性与可扩展性。