迈向通用图像嵌入：面向通用图像表征的大规模数据集与挑战赛
计算机视觉与模式识别
2023-09-06 v1
摘要
细粒度与实例级识别方法通常在特定领域上以“每域一模型”的方式训练和评估。然而，这种方法在真实的大规模应用中并不实用。在本工作中，我们研究通用图像嵌入问题，即训练并使用单一通用模型于多个领域。首先，我们利用现有的领域特定数据集，精心构建了一个用于评估通用图像嵌入的新型大规模公开基准，包含跨 8 个不同领域、349k 个类别的 241k 张查询图像、1.4M 张索引图像和 2.8M 张训练图像。我们定义了合适的指标、训练和评估协议，以促进该领域的未来研究。其次，我们在新数据集上进行了全面的实验评估，表明现有方法及简单扩展的性能不如为每个领域分别训练的模型组合。最后，我们围绕该主题举办了一场公开科研竞赛，利用工业界数据集，吸引了全球超过 1k 支团队参与。这一活动产生了许多有趣的研究思路与发现，我们在此详细呈现。项目主页：https://cmp.felk.cvut.cz/univ_emb/
引用
@article{arxiv.2309.01858,
title = {Towards Universal Image Embeddings: A Large-Scale Dataset and Challenge for Generic Image Representations},
author = {Nikolaos-Antonios Ypsilantis and Kaifeng Chen and Bingyi Cao and Mário Lipovský and Pelin Dogan-Schönberger and Grzegorz Makosa and Boris Bluntschli and Mojtaba Seyedhosseini and Ondřej Chum and André Araujo},
journal= {arXiv preprint arXiv:2309.01858},
year = {2023}
}
备注
ICCV 2023 Accepted