WRF4CIR：用于构图图像检索的权重正则化微调网络
计算机视觉与模式识别
2026-04-08 v1
摘要
构图图像检索（Composed Image Retrieval, CIR）任务旨在基于参考图像和修改文本检索目标图像。当前的CIR方法主要依赖于对视觉语言预训练模型进行微调。然而，我们发现这些方法常常 suffer 严重的过拟合问题，这给限于三元组数据的 CIR 带来了挑战。为更好地理解这一问题，我们对VLP-based CIR中的过拟合进行了系统性研究，揭示了不同模型和数据集之间存在显著且此前被忽视的泛化差距。针对这些发现，我们引入WRF4CIR，一种用于CIR的权重正则化微调网络。具体而言，在微调过程中，我们对模型权重施加对抗扰动进行正则化，其中这些扰动是以梯度下降的相反方向生成的。直观地说，WRF4CIR增加了拟合训练数据的难度，这有助于缓解CIR在有限三元组监督下的过拟合。大量实验表明，WRF4CIR显著缩小了泛化差距，并在现有方法上实现了显著的改进。
引用
@article{arxiv.2604.05583,
title = {WRF4CIR: Weight-Regularized Fine-Tuning Network for Composed Image Retrieval},
author = {Yizhuo Xu and Chaojian Yu and Yuanjie Shao and Tongliang Liu and Qinmu Peng and Xinge You},
journal= {arXiv preprint arXiv:2604.05583},
year = {2026}
}