NEUCORE：面向组合图像检索的神经概念推理
计算机视觉与模式识别
2023-10-03 v1
摘要
组合图像检索结合参考图像与文本修饰符以识别所需目标图像，是一项具有挑战性的任务，要求模型理解视觉与语言模态及其交互。现有方法聚焦于整体多模态交互建模，忽略了参考图像与文本修饰符之间组合且互补的特性。为更好地利用多模态输入的互补性以实现有效信息融合与检索，我们将多模态理解移至概念级的细粒度，并学习多模态概念对齐以识别参考或目标图像中对应于文本修饰符的视觉位置。为此，我们提出 NEUral COncept REasoning（NEUCORE）模型，其融合了多模态概念对齐与基于对齐概念的渐进式多模态融合。具体而言，考虑到文本修饰符可能指代参考图像中不存在而需添加至目标图像的语义概念，我们在多实例学习框架下以图像与句子级弱监督学习文本修饰符与参考及目标图像拼接之间的多模态概念对齐。此外，基于对齐概念，为形成用于准确目标图像检索的输入模态的判别性融合特征，我们提出一种以注意力语言语义概念实例化的统一执行架构的渐进融合策略。我们所提方法在三个数据集上评测并取得最先进结果。
引用
@article{arxiv.2310.01358,
title = {NEUCORE: Neural Concept Reasoning for Composed Image Retrieval},
author = {Shu Zhao and Huijuan Xu},
journal= {arXiv preprint arXiv:2310.01358},
year = {2023}
}