DoodleFormer：基于 Transformers 的创意草图绘制
计算机视觉与模式识别
2022-09-16 v3 图形学
摘要
创意素描或涂鸦是一种富有表现力的活动，其中绘制出日常视觉对象的想象性且此前未见的描绘。创意草图图像生成是一项具挑战性的视觉问题，其任务是生成多样且逼真的、具有视觉世界对象未见组合的创意草图。本文中，我们提出一种新颖的由粗到细两阶段框架 DoodleFormer，将创意草图生成问题分解为粗草图组合的创建及随后草图中细节的融入。我们引入图感知 transformer 编码器，有效捕捉不同身体部位间的全局动态与局部静态结构关系。为保障生成创意草图的多样性，我们引入一种概率性粗草图解码器，显式建模待绘制各草图身体部位的变化。实验在两个创意草图数据集上进行：Creative Birds 与 Creative Creatures。我们的定性、定量及基于人类的评估表明，DoodleFormer 在两者上均优于当前最优方法，生成逼真且多样的创意草图。在 Creative Creatures 上，DoodleFormer 相较当前最优在 Fréchet 起始距离（FID）上取得 25 的绝对提升。我们还展示了 DoodleFormer 在文本到创意草图生成与草图补全等相关应用上的有效性。
引用
@article{arxiv.2112.03258,
title = {DoodleFormer: Creative Sketch Drawing with Transformers},
author = {Ankan Kumar Bhunia and Salman Khan and Hisham Cholakkal and Rao Muhammad Anwer and Fahad Shahbaz Khan and Jorma Laaksonen and Michael Felsberg},
journal= {arXiv preprint arXiv:2112.03258},
year = {2022}
}
备注
Accepted to ECCV-2022. Project webpage: https://ankanbhunia.github.io/doodleformer/