面向零样本草图图像检索的渐进式域无关特征分解网络
计算机视觉与模式识别
2022-05-09 v2
摘要
零样本草图图像检索(ZS-SBIR)是一种特定的跨模态检索任务，用于在零样本场景下根据手绘草图搜索自然图像。大多数现有方法通过将视觉特征和语义监督同时投影到低维公共空间来实现高效检索。然而，这种低维投影破坏了原始语义空间中语义知识的完整性，导致在学习不同模态的语义时无法很好地迁移有用知识。此外，域信息与语义信息在视觉特征中相互纠缠，不利于跨模态匹配，因为会阻碍草图与图像之间域差距的缩小。本文提出一种用于 ZS-SBIR 的渐进式域无关特征分解(PDFD)网络。具体而言，在原始语义知识监督下，PDFD 将视觉特征分解为域特征和语义特征，然后将语义特征投影到公共空间作为 ZS-SBIR 的检索特征。渐进式投影策略保持了强语义监督。此外，为保证检索特征捕获干净且完整的语义信息，引入交叉重构损失以促使检索特征与域特征的任意组合均能重构视觉特征。大量实验证明了我们的 PDFD 相对于最先进方法的优越性。
引用
@article{arxiv.2003.09869,
title = {Progressive Domain-Independent Feature Decomposition Network for Zero-Shot Sketch-Based Image Retrieval},
author = {Xinxun Xu and Muli Yang and Yanhua Yang and Hao Wang},
journal= {arXiv preprint arXiv:2003.09869},
year = {2022}
}