多密度草图到图像翻译网络
计算机视觉与模式识别
2020-06-19 v1
摘要
草图到图像（S2I）翻译在图像合成与处理任务（如照片编辑和上色）中扮演着重要角色。一些特定的 S2I 翻译，包括草图到照片和草图到绘画，可作为艺术设计行业中的强大工具。然而，以往的方法仅支持单一密度级别的 S2I 翻译，这降低了用户控制输入草图的灵活性。在本工作中，我们提出了首个多级密度草图到图像翻译框架，允许输入草图涵盖从粗略物体轮廓到微观结构的广泛范围。此外，为了解决多级密度输入草图表示不连续的问题，我们将密度级别投影到连续的潜在空间中，随后可通过一个参数进行线性控制。这使得用户能够方便地控制输入草图的密度和图像的生成。此外，我们的方法已在用于不同应用（包括人脸编辑、多模态草图到照片翻译和动漫上色）的各种数据集上得到了成功验证，为这些应用提供了从粗到细级别的控制。
引用
@article{arxiv.2006.10649,
title = {Multi-Density Sketch-to-Image Translation Network},
author = {Jialu Huang and Jing Liao and Zhifeng Tan and Sam Kwong},
journal= {arXiv preprint arXiv:2006.10649},
year = {2020}
}
备注
2020 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works