利用条件卷积解码器从自然图像合成类人草图
计算机视觉与模式识别
2020-03-17 v1
摘要
人类能够通过草图精确传达多样的概念，草图是一种基于形状的、高度简化且抽象化的视觉内容表示。我们首次提出一种全卷积端到端架构，能够合成自然图像中物体（可能具有杂乱背景）的类人草图。为使架构学习这一高度抽象的映射，我们采用以下关键组件：(1) 全卷积编码器-解码器结构，(2) 在抽象特征空间中运作的感知相似性损失函数，以及 (3) 解码器以待草图化物体的标签为条件。鉴于这些架构概念的组合，我们能够在草图-图像对集合上以端到端监督方式训练我们的结构。我们架构生成的草图可被分类，Top-5 准确率达 85.6%，并通过用户研究验证了它们的视觉质量。我们发现，作为感知相似性度量的深度特征能够实现具有大域间隙的图像翻译，并且我们的发现进一步表明，在图像分类任务上训练的卷积神经网络隐式地学习编码形状信息。代码见 https://github.com/kampelmuehler/synthesizing_human_like_sketches
引用
@article{arxiv.2003.07101,
title = {Synthesizing human-like sketches from natural images using a conditional convolutional decoder},
author = {Moritz Kampelmühler and Axel Pinz},
journal= {arXiv preprint arXiv:2003.07101},
year = {2020}
}
备注
In IEEE Winter Conference on Applications of Computer Vision (WACV) 2020