组合图像检索中的数据漫游与质量评估
计算机视觉与模式识别
2023-12-21 v2
摘要
组合图像检索(CoIR)任务涉及融合图像与文本模态的查询,使用户能更有效地表达意图。然而,当前的 CoIR 数据集比其他视觉与语言(V&L)数据集小几个数量级。此外,其中一些数据集存在明显问题,例如查询包含冗余模态。为弥补这些不足,我们引入了大规模组合图像检索(LaSCo)数据集,一个比现有数据集大十倍的新 CoIR 数据集。在我们的 LaSCo 上预训练显示出性能的显著提升,即使在零样本下亦然。此外,我们提出了一种分析 CoIR 数据集与方法、检测查询中模态冗余或必要性的新方法。我们还引入了一个新的 CoIR 基线——交叉注意力驱动的偏移编码器(CASE)。该基线使用交叉注意力模块实现模态的早期融合,并在训练中使用额外的辅助任务。我们的实验表明,这一新基线在 FashionIQ 和 CIRR 等成熟基准上优于当前最先进的方法。
引用
@article{arxiv.2303.09429,
title = {Data Roaming and Quality Assessment for Composed Image Retrieval},
author = {Matan Levy and Rami Ben-Ari and Nir Darshan and Dani Lischinski},
journal= {arXiv preprint arXiv:2303.09429},
year = {2023}
}
备注
Camera Ready version for AAAI 2024