面向百万规模自由手绘草图的语义表示学习
计算机视觉与模式识别
2020-07-09 v1
摘要
本文研究百万规模自由手绘草图的语义表示学习。由于草图具备领域独有特性（如多样、稀疏、抽象、含噪），该任务极具挑战。我们提出一种双分支 CNNRNN 网络架构来表示草图，其同时编码草图笔画的静态与时序模式。基于此架构，我们进一步探索在两种具挑战性且实用的设定下学习面向草图的语义表示，即百万规模草图上的哈希检索与零样本识别。具体而言，我们将双分支架构作为通用表示框架设计两个草图专用深度模型：(i) 提出用于草图检索的深度哈希模型，其中专门设计了一种新颖哈希损失以兼顾草图的抽象与杂乱特性。(ii) 提出用于草图零样本识别的深度嵌入模型，通过收集大规模边缘图数据集并提取一组来自边缘图的语义向量作为草图零样本域对齐的语义知识。两个深度模型均在百万规模草图上通过充分实验评估，并优于当前最优的对比方法。
引用
@article{arxiv.2007.04101,
title = {On Learning Semantic Representations for Million-Scale Free-Hand Sketches},
author = {Peng Xu and Yongye Huang and Tongtong Yuan and Tao Xiang and Timothy M. Hospedales and Yi-Zhe Song and Liang Wang},
journal= {arXiv preprint arXiv:2007.04101},
year = {2020}
}
备注
arXiv admin note: substantial text overlap with arXiv:1804.01401