SD4Match：学习提示稳定扩散模型用于语义匹配
计算机视觉与模式识别
2024-03-27 v2 机器学习
摘要
在本文中，我们解决跨图像对匹配语义相似关键点的挑战。现有研究表明，稳定扩散（SD）中 UNet 的中间输出可作为此类匹配任务的鲁棒图像特征图。我们证明，通过采用基础的提示微调技术，可挖掘稳定扩散的固有潜力，从而相较先前方法在精度上实现显著提升。我们进一步引入一种新颖的条件提示模块，该模块使提示以输入图像对的局部细节为条件，带来性能的进一步提升。我们将我们的方法命名为 SD4Match，即 Stable Diffusion for Semantic Matching（用于语义匹配的稳定扩散）的缩写。在 PF-Pascal、PF-Willow 和 SPair-71k 数据集上对 SD4Match 的全面评估表明，它在所有这些数据集上确立了精度的新基准。特别是在具有挑战性的 SPair-71k 数据集上，SD4Match 以 12 个百分点的优势超越了先前的最先进方法。
引用
@article{arxiv.2310.17569,
title = {SD4Match: Learning to Prompt Stable Diffusion Model for Semantic Matching},
author = {Xinghui Li and Jingyi Lu and Kai Han and Victor Prisacariu},
journal= {arXiv preprint arXiv:2310.17569},
year = {2024}
}
备注
Accepted to CVPR 2024. Project website: https://sd4match.active.vision/