Air-Know:用于组合图像检索的仲裁者校准知识内化鲁棒网络
计算机视觉与模式识别
2026-04-23 v2
摘要
组合图像检索(CIR)因其灵活的多模态查询方法而备受关注,但其发展受到噪声三元组对应(NTC)问题的严重制约。大多数现有的鲁棒学习方法依赖于“小损失假设”,但 NTC 中独特的语义歧义性(如“部分匹配”)使该假设失效,导致噪声识别不可靠。这使模型陷入自依赖的恶性循环,学习器与仲裁器相互交织,最终导致灾难性的“表示污染”。为应对这一关键挑战,我们提出了一种新颖的“专家-代理-分流”解耦范式,命名为 Air-Know(ArbIteR calibrated Knowledge iNternalizing rObust netWork)。Air-Know 包含三个核心模块:(1)外部先验仲裁(EPA),利用多模态大语言模型(MLLM)作为离线专家构建高精度锚点数据集;(2)专家知识内化(EKI),高效引导轻量级代理“仲裁器”内化专家的判别逻辑;(3)双流调和(DSR),利用 EKI 的匹配置信度分流训练数据,实现干净的比对流和表示反馈调和流。在多个 CIR 基准数据集上的大量实验表明,Air-Know 在 NTC 设置下显著优于现有的 SOTA 方法,同时在传统 CIR 中也展现出强大的竞争力。
引用
@article{arxiv.2604.19386,
title = {Air-Know: Arbiter-Calibrated Knowledge-Internalizing Robust Network for Composed Image Retrieval},
author = {Zhiheng Fu and Yupeng Hu and Qianyun Yang and Shiqi Zhang and Zhiwei Chen and Zixu Li},
journal= {arXiv preprint arXiv:2604.19386},
year = {2026}
}
备注
Accepted by CVPR 2026