基于原型最优传输的无监督跨域图像检索
计算机视觉与模式识别
2024-12-31 v4
摘要
无监督跨域图像检索（UCIR）旨在不依赖标注数据的情况下，检索不同域中属于同一类别的图像。先前的方法通常将 UCIR 问题分解为两个独立的任务：域内表示学习和跨域特征对齐。然而，这些分离的策略忽视了这些任务之间潜在的协同效应。本文提出了 ProtoOT，一种专为 UCIR 量身定制的新型最优传输（Optimal Transport）公式，它将域内特征表示学习与跨域对齐整合到一个统一的框架中。ProtoOT 利用 K-means 聚类方法的优势，有效管理 UCIR 中固有的分布不平衡问题。通过利用 K-means 生成初始原型并近似类别边缘分布，我们相应地修改了最优传输中的约束条件，显著提升了其在 UCIR 场景下的性能。此外，我们将对比学习融入 ProtoOT 框架，以进一步改进表示学习。这不仅鼓励具有相似语义的特征在局部保持语义一致性，还显式地强制特征与不匹配的原型之间产生分离，从而增强了全局判别力。在基准数据集上，ProtoOT 以显著优势超越了现有的最先进（SOTA）方法。值得注意的是，在 DomainNet 上，ProtoOT 实现了平均 P@200 提升 18.17%；在 Office-Home 上，其 P@15 提升了 3.83%。
引用
@article{arxiv.2402.18411,
title = {Unsupervised Cross-Domain Image Retrieval via Prototypical Optimal Transport},
author = {Bin Li and Ye Shi and Qian Yu and Jingya Wang},
journal= {arXiv preprint arXiv:2402.18411},
year = {2024}
}