Denoise-I2W：将图像映射到去噪词以实现精确的零样本组合图像检索
计算机视觉与模式识别
2024-10-24 v1
摘要
零样本组合图像检索（ZS-CIR）支持多种任务，涵盖与领域、场景、对象和属性相关的广泛视觉内容操作意图。ZS-CIR的一个关键挑战是准确地将图像表示映射到一个伪词标记，该标记捕获与操作意图相关的图像信息，以实现通用CIR。然而，现有方法在检索和预训练阶段之间存在伪词标记的显著冗余。本文提出了一种新颖的去噪图像到词映射方法，名为Denoise-I2W，用于将图像映射到去噪伪词标记，这些标记不含与意图无关的视觉信息，从而增强精确的ZS-CIR。具体来说，一个伪三元组构建模块首先自动构建伪三元组（即，伪参考图像、伪操作文本和目标图像），用于预训练去噪映射网络。然后，一个伪组合映射模块将伪参考图像映射到伪词标记，并将其与具有操作意图的伪操作文本相结合。这种组合与目标图像对齐，有助于在映射中去除与意图无关的视觉信息。我们提出的Denoise-I2W是一种模型无关且无需标注的方法。它在四个基准数据集上的三个最先进的ZS-CIR模型上展示了强大的泛化能力。通过将Denoise-I2W与现有最佳模型集成，我们在不增加推理成本的情况下，相较于最佳方法获得了1.45%至4.17%的一致且显著的性能提升，并在ZS-CIR上取得了新的最先进结果。我们的代码可在https://github.com/Pter61/denoise-i2w-tmm获取。
引用
@article{arxiv.2410.17393,
title = {Denoise-I2W: Mapping Images to Denoising Words for Accurate Zero-Shot Composed Image Retrieval},
author = {Yuanmin Tang and Jing Yu and Keke Gai and Jiamin Zhuang and Gaopeng Gou and Gang Xiong and Qi Wu},
journal= {arXiv preprint arXiv:2410.17393},
year = {2024}
}
备注
This work was submitted to IJCAI 2024, with a score of weak accept and borderline accept