FAR-Net：多阶段融合网络，增强语义对齐与自适应调和，用于组合图像检索
计算机视觉与模式识别
2025-07-18 v1
摘要
组合图像检索(CIR)是一种视觉语言任务，使用 reference 图像和 modification 文本检索目标图像，实现对所需更改的直观指定。虽然有效融合视觉和文本模态至关重要，但现有方法通常采用 early 或 late fusion。Early fusion倾向于过度关注显式提及的文本细节，忽略视觉 context；而 late fusion则难以捕获 image regions与 textual tokens之间的细粒度语义对齐。为了解决这些问题，我们提出FAR-Net，一种以增强语义对齐和自适应调和为设计目标的多阶段融合框架，集成两个互补模块。增强语义对齐模块(ESAM)采用 late fusion with cross-attention 来捕获细粒度语义关系，而自适应调和模块(ARM)应用 early fusion with uncertainty embeddings 来增强鲁棒性和适应性。在CIRR和FashionIQ上的实验显示出一致的性能提升，Recall@1提升最高可达2.4%，Recall@50提升1.04%，经验上表明FAR Net为CIR任务提供了一种稳健且可扩展的解决方案。
引用
@article{arxiv.2507.12823,
title = {FAR-Net: Multi-Stage Fusion Network with Enhanced Semantic Alignment and Adaptive Reconciliation for Composed Image Retrieval},
author = {Jeong-Woo Park and Young-Eun Kim and Seong-Whan Lee},
journal= {arXiv preprint arXiv:2507.12823},
year = {2025}
}
备注
6 pages, 3 figures, 3 tables