基于搭载式模型的改进扩散图像上色方法

数十年来，图像上色一直吸引着学界的研究兴趣。然而，由于缺乏对色彩的类人全局理解，现有方法在给定灰度图像时仍难以提供令人满意的上色结果。近来，大规模文本到图像（T2I）模型已被用于将该文本提示中的语义信息迁移至图像域，其中文本为图像中的语义对象提供了全局控制。本工作中，我们引入一种搭载于现有强大 T2I 扩散模型之上的上色模型。我们的核心思路是利用预训练 T2I 扩散模型中的色彩先验知识，实现逼真且多样的上色。我们设计了一个扩散引导器，将潜在扩散模型的预训练权重纳入其中，以输出符合灰度输入视觉语义的潜在色彩先验。随后，一个亮度感知 VQVAE 将生成与给定灰度图像像素级精确对齐的上色结果。我们的模型还能借助额外输入（如用户提示与文本）实现条件上色。大量实验表明，我们的方法在感知质量方面达到了最先进的性能。