中文

Air-Know:用于组合图像检索的仲裁者校准知识内化鲁棒网络

计算机视觉与模式识别 2026-04-23 v2

摘要

组合图像检索(CIR)因其灵活的多模态查询方法而备受关注,但其发展受到噪声三元组对应(NTC)问题的严重制约。大多数现有的鲁棒学习方法依赖于“小损失假设”,但 NTC 中独特的语义歧义性(如“部分匹配”)使该假设失效,导致噪声识别不可靠。这使模型陷入自依赖的恶性循环,学习器与仲裁器相互交织,最终导致灾难性的“表示污染”。为应对这一关键挑战,我们提出了一种新颖的“专家-代理-分流”解耦范式,命名为 Air-Know(ArbIteR calibrated Knowledge iNternalizing rObust netWork)。Air-Know 包含三个核心模块:(1)外部先验仲裁(EPA),利用多模态大语言模型(MLLM)作为离线专家构建高精度锚点数据集;(2)专家知识内化(EKI),高效引导轻量级代理“仲裁器”内化专家的判别逻辑;(3)双流调和(DSR),利用 EKI 的匹配置信度分流训练数据,实现干净的比对流和表示反馈调和流。在多个 CIR 基准数据集上的大量实验表明,Air-Know 在 NTC 设置下显著优于现有的 SOTA 方法,同时在传统 CIR 中也展现出强大的竞争力。

关键词

引用

@article{arxiv.2604.19386,
  title  = {Air-Know: Arbiter-Calibrated Knowledge-Internalizing Robust Network for Composed Image Retrieval},
  author = {Zhiheng Fu and Yupeng Hu and Qianyun Yang and Shiqi Zhang and Zhiwei Chen and Zixu Li},
  journal= {arXiv preprint arXiv:2604.19386},
  year   = {2026}
}

备注

Accepted by CVPR 2026