ColorizeDiffusion：基于参考图像与文本的可调节草图上色
计算机视觉与模式识别
2024-07-04 v3
摘要
扩散模型最近在生成极高质量图像方面展现了其有效性，现已被广泛应用于包括自动草图上色在内的多种场景。尽管已有许多方法用于引导式草图上色，但对于图像提示与草图输入之间潜在冲突的探索仍然有限，这可能导致结果严重恶化。因此，本文 exhaustive 地研究了基于参考的草图上色模型，旨在利用参考彩色图像对草图图像进行上色。我们具体研究了基于参考的扩散模型的两个关键方面：一是与基于文本的对应模型相比的主要缺陷——“分布问题”；二是零样本顺序基于文本的操纵能力。我们引入了图像引导潜在扩散模型的两种变体，利用来自预训练 CLIP 图像编码器的不同图像令牌，并提出了相应的操纵方法，以使用加权文本输入顺序调整其结果。我们通过定性和定量实验以及用户研究对我们的模型进行了全面评估。
引用
@article{arxiv.2401.01456,
title = {ColorizeDiffusion: Adjustable Sketch Colorization with Reference Image and Text},
author = {Dingkun Yan and Liang Yuan and Erwin Wu and Yuma Nishioka and Issei Fujishiro and Suguru Saito},
journal= {arXiv preprint arXiv:2401.01456},
year = {2024}
}