结合细粒度概率学习的异质不确定性引导组合图像检索

组合图像检索（Composed Image Retrieval, CIR）通过将参考图像与修改文本相结合来实现图像搜索。CIR 三元组中的固有噪声会引发内在不确定性并威胁模型的鲁棒性。概率学习方法在解决此类问题上已展现出潜力；然而，由于其对查询和目标的实例级整体建模以及同质化处理，这些方法在 CIR 中表现不佳。本文引入了一种异质不确定性引导（Heterogeneous Uncertainty-Guided, HUG）范式以克服这些局限性。HUG 采用细粒度概率学习框架，其中查询和目标由捕获详细概念与不确定性的高斯嵌入表示。我们为多模态查询和单模态目标定制了异质不确定性估计。给定一个查询，我们不仅捕获关于单模态内容质量的不确定性，还捕获多模态协调的不确定性，随后通过可证明的动态加权机制推导出综合查询不确定性。我们进一步设计了不确定性引导目标，包括查询-目标整体对比以及具有综合负采样策略的细粒度对比，从而有效增强判别性学习。在基准测试上的实验证明了 HUG 优于最先进的基线方法，并且有理有据的分析证实了这些技术贡献。