图像扩散中涌现的对应关係
计算机视觉与模式识别
2023-12-08 v2
摘要
寻找图像间的对应关系是计算机视觉中的基本问题。本文中，我们展示对应关係在图像扩散模型中无需任何显式监督即可涌现。我们提出一种简单策略，将扩散网络中的这一隐式知识作为图像特征提取出来，即 DIffusion FeaTures（DIFT），并用其建立真实图像间的对应关系。无需在任务特定数据或标注上进行任何额外微调或监督，DIFT 在识别语义、几何与时间对应关系上均能优于弱监督方法与有竞争力的现成特征。尤其在语义对应上，来自 Stable Diffusion 的 DIFT 在具有挑战性的 SPair-71k 基准上分别比 DINO 与 OpenCLIP 高出 19 和 14 个准确率点。它甚至在 18 个类别中的 9 个上优于最先进的监督方法，而整体性能与之持平。项目页面：https://diffusionfeatures.github.io
引用
@article{arxiv.2306.03881,
title = {Emergent Correspondence from Image Diffusion},
author = {Luming Tang and Menglin Jia and Qianqian Wang and Cheng Perng Phoo and Bharath Hariharan},
journal= {arXiv preprint arXiv:2306.03881},
year = {2023}
}
备注
NeurIPS 2023. Project page: https://diffusionfeatures.github.io