面向场景草图的深度零样本学习
计算机视觉与模式识别
2019-05-14 v1
摘要
我们引入了一个新颖的场景草图零样本学习（SSZSL）问题，这是一项具有挑战性的任务，因为（i）与照片不同，通用语义域（例如词向量）与草图之间的差距过大，难以利用通用语义知识作为知识迁移的桥梁；（ii）与单对象草图相比，场景草图需要更具表达力的特征表示以适应其高级抽象性与复杂性。为克服这些挑战，我们提出了一种用于场景草图零样本学习的深度嵌入模型。特别地，我们提出增强语义向量，通过融合多模态语义知识（例如卡通图像、自然图像、文本描述）来进行域对齐，并采用基于注意力的网络进行场景草图特征学习。此外，我们提出了一种新颖的距离度量以改进测试期间的相似度度量。大量实验和消融研究证明了我们草图特定设计的益处。
引用
@article{arxiv.1905.04510,
title = {Deep Zero-Shot Learning for Scene Sketch},
author = {Yao Xie and Peng Xu and Zhanyu Ma},
journal= {arXiv preprint arXiv:1905.04510},
year = {2019}
}
备注
5 pages, 3 figures, IEEE International Conference on Image Processing (ICIP)