ARNet：具有统一样本特征对齐和多尺度令牌回收的自监督细粒度草图图像检索
计算机视觉与模式识别
2025-01-03 v5
摘要
细粒度基于草图的图像检索（FG-SBIR）旨在最小化嵌入空间中草图与对应图像之间的距离。然而，由于细粒度草图的抽象性质，解决方案日益复杂，阻碍了其可扩展性。在本文中，我们提出了一种有效的方法来缩小两个领域之间的差距。它主要促进样本内和样本间的统一互信息共享，而不是将其视为模态间的单一特征对齐问题。具体来说，我们的方法包括：（i）采用双权重共享网络来优化草图和图像域内的对齐，这也有效缓解了模型学习饱和问题。（ii）引入基于对比损失的目标优化函数，以增强模型在样本内和样本间对齐特征的能力。（iii）提出一个自监督的多尺度令牌回收（MSTR）模块，其特点是在多尺度特征中回收被丢弃的补丁令牌，进一步增强了表示能力和检索性能。我们的框架在基于CNN和ViT的骨干网络上取得了优异的结果。大量实验证明了其相对于现有方法的优越性。我们还引入了Cloths-V1，这是第一个专业时尚草图-图像数据集，用于验证我们的方法，并将有益于其他应用。
引用
@article{arxiv.2406.11551,
title = {ARNet: Self-Supervised FG-SBIR with Unified Sample Feature Alignment and Multi-Scale Token Recycling},
author = {Jianan Jiang and Hao Tang and Zhilin Jiang and Weiren Yu and Di Wu},
journal= {arXiv preprint arXiv:2406.11551},
year = {2025}
}
备注
Accepted by the 39th Annual AAAI Conference on Artificial Intelligence (AAAI-25)