学习深度草图抽象
计算机视觉与模式识别
2018-04-16 v1
摘要
人类手绘草图已在多种情境中被研究,包括草图识别、合成以及细粒度基于草图的图像检索(FG-SBIR)。草图分析的一个根本挑战在于应对截然不同的人类绘图风格,尤其在抽象程度上。本工作中,我们基于将草图抽象视为在草图可识别性与绘制所用笔画数之间权衡过程的洞察,提出了首个笔画级草图抽象模型。具体而言,我们通过强化学习一个笔画移除策略来训练用于抽象草图生成的模型,该策略学习预测哪些笔画可在不影响可识别性的情况下被安全移除。我们展示了我们的抽象模型可用于多种草图分析任务,包括:(1) 建模笔画显著性并理解草图识别模型的决策,(2) 为给定类别或照片中的参考对象实例合成不同抽象程度的草图,以及 (3) 仅使用照片训练 FG-SBIR 模型,从而绕过昂贵的照片-草图配对收集步骤。
引用
@article{arxiv.1804.04804,
title = {Learning Deep Sketch Abstraction},
author = {Umar Riaz Muhammad and Yongxin Yang and Yi-Zhe Song and Tao Xiang and Timothy M. Hospedales},
journal= {arXiv preprint arXiv:1804.04804},
year = {2018}
}
备注
This paper is accepted at CVPR 2018 as poster