面向语义对应关系的 Gromov Wasserstein 最优传输
计算机视觉与模式识别
2026-02-04 v1
摘要
在计算机视觉中，建立图像对之间的对应关系是一项长期存在的研究问题。近期大规模基础模型在下游任务（包括分类和分割）上展现出强大的零样本性能，促使人们关注这些模型内部特征图用于语义对应任务的潜力。近期研究发现，DINOv2 和 Stable Diffusion（SD）的特征互补：前者产生准确但稀疏的对应，后者产生具有空间一致性的对应。因此，当前语义对应方法的SOTA涉及来自两者特征的组合。尽管这些方法性能卓越，但计算成本高昂，需评估大规模基础模型的特征图。本文采取不同方法，取而代之的是一种具备理想空间一致性属性的优越匹配算法。具体而言，我们用包含 Gromov Wasserstein 空间光滑先验的最优传输算法取代标准最近邻匹配。我们表明，仅凭 DINOv2 基线即可显著提升性能，并在使用 Stable Diffusion 特征的情况下，可与当前SOTA方法相当甚至优越，同时计算效率提升5--10倍。我们已在 https://github.com/fsnelgar/semantic_matching_gwot 公开代码。
引用
@article{arxiv.2602.03105,
title = {Gromov Wasserstein Optimal Transport for Semantic Correspondences},
author = {Francis Snelgar and Stephen Gould and Ming Xu and Liang Zheng and Akshay Asthana},
journal= {arXiv preprint arXiv:2602.03105},
year = {2026}
}