MELT：通过修改频稀平衡网络提升构图图像检索
计算机视觉与模式识别
2026-04-01 v1 人工智能
摘要
构图图像检索（CIR）使用参考图像和修改文本作为查询，以检索满足“根据文本指令修改参考图像”要求的目标图像。然而，现有CIR方法面临两个局限性：（1）频率偏差导致“稀有样本忽视”，（2）相似得分易受硬负样本和噪声的干扰。为此，我们面临两个关键挑战：非对称稀有语义定位和硬负样本下的鲁棒相似度估计。为解决这些挑战，我们提出了修改频稀平衡网络MELT。MELT在多模态语境中为稀有修改语义分配更高注意力，同时对相似得分高的硬负样本应用基于扩散的去噪，以增强多模态融合和匹配。在两个CIR基准上的大量实验验证了MELT的卓越性能。代码已公开于 https://github.com/luckylittlezhi/MELT。
引用
@article{arxiv.2603.29291,
title = {MELT: Improve Composed Image Retrieval via the Modification Frequentation-Rarity Balance Network},
author = {Guozhi Qiu and Zhiwei Chen and Zixu Li and Qinlei Huang and Zhiheng Fu and Xuemeng Song and Yupeng Hu},
journal= {arXiv preprint arXiv:2603.29291},
year = {2026}
}
备注
Accepted by ICASSP 2026