CoProSketch：基于扩散模型的可控且渐进的素描生成
计算机视觉与模式识别
2025-04-14 v1 人工智能
摘要
素描因编辑比像素级 RGB 图像编辑更直观、更容易掌控而被视为艺术创作中的基础蓝图，但尽管生成模型取得了进展，素描生成仍未得到探索。我们提出了一种新框架 CoProSketch，为素描生成提供显著的可控性和细节。一种直观的方法是通过二值化素描图像对预训练的图像生成扩散模型进行微调。然而，我们发现扩散模型难以生成清晰的二值图像，导致生成的素描混乱。因此，我们提出以无符号距离场（UDF）表示素描，该方法连续且可以通过轻量级网络轻松解码为素描。通过 CoProSketch，用户可从边界框和文本提示生成粗略素描，粗略素描可手动编辑并反馈给模型进行迭代细化，最终解码为详细的素描结果。此外，我们策划了首个大规模文本-素描配对数据集作为训练数据。实验表明，CoProSketch 在语义一致性和可控性方面优于基线方法，为将用户反馈集成到生成式工作流程中提供了实用解决方案。
引用
@article{arxiv.2504.08259,
title = {CoProSketch: Controllable and Progressive Sketch Generation with Diffusion Model},
author = {Ruohao Zhan and Yijin Li and Yisheng He and Shuo Chen and Yichen Shen and Xinyu Chen and Zilong Dong and Zhaoyang Huang and Guofeng Zhang},
journal= {arXiv preprint arXiv:2504.08259},
year = {2025}
}
备注
11 pages, 9 figures