面向零样本草图图像检索的模态感知表征学习
计算机视觉与模式识别
2024-01-11 v1
摘要
零样本学习为机器学习模型处理未见类别提供了一种高效解决方案，避免了详尽的数据收集。零样本草图图像检索（ZS-SBIR）模拟了难以且成本高昂地收集成对草图-照片样本的真实世界场景。我们提出了一种新颖的框架，通过文本对比间接对齐草图和照片，消除了获取草图-照片对的需求。通过从数据中学习到的显式模态编码，我们的方法将模态无关的语义与模态特定信息解耦，弥合了模态鸿沟，并能在联合潜在空间内实现有效的跨模态内容检索。通过全面的实验，我们验证了所提模型在 ZS-SBIR 上的有效性，并且它也可应用于广义和细粒度场景。
引用
@article{arxiv.2401.04860,
title = {Modality-Aware Representation Learning for Zero-shot Sketch-based Image Retrieval},
author = {Eunyi Lyou and Doyeon Lee and Jooeun Kim and Joonseok Lee},
journal= {arXiv preprint arXiv:2401.04860},
year = {2024}
}
备注
Accepted at WACV 2024