基于语义空间中标签转移的自动图像标注

自动图像标注是计算机视觉与模式识别中的基本问题之一，并且对于开发能够搜索和浏览大规模图像集合的算法正变得日益重要。在本文中，我们提出了一种基于核典型相关分析（KCCA）的标签传播框架，其构建了一个潜在语义空间，其中视觉与文本特征的相关性被很好地保留在语义嵌入中。所提方法具有鲁棒性，既可在训练集由专家良好标注时工作，也可在其含有噪声时工作，例如社交媒体中用户生成标签的情况。我们在四个流行数据集上报告了广泛的结果。我们的结果表明，我们基于 KCCA 的框架可应用于多种最先进的标签转移方法以获得显著改进。我们的方法即便在社交用户的噪声标签下也能工作，前提是执行了适当的去噪。大规模环境下的实验表明，即便语义空间是在训练图像的一个子集上估计的，我们的方法仍能提供一些益处。