寻找一组图像的主题

本文引入确定一组图像所描述主题的问题，其中每个主题表示为一组词。与其他问题（如标签分配等）不同，a）我们假设使用多幅图像而非单幅图像作为输入，b）输入图像通常在视觉上不相关，c）输入图像在语义上未必相近，d）输出词空间不受约束。在我们提出的解决方案中，每幅查询图像的视觉信息用于从图像数据库中检索带有文本标签（标记）的相似图像。我们考虑的场景是标签噪声很大且多样，因为它们是通过隐式众包在包含一百万幅图像和超过七万七千个标签的数据库中获得的。与每幅查询图像关联的词或标签通过一个使用随机游走的词选择算法联合处理，该算法能够精炼搜索主题，剔除不属于主题的词，并产生一组能恰当描述主题的词。在包含300个主题、每个主题最多二十幅图像的数据集上的实验表明，对于任意数量的查询图像，我们的算法性能均优于所提出的基线。我们还提出了一种新的条件随机场（CRF）词映射算法，该算法保留了映射词的语义相似性，从而提高了结果相对于基线的性能。