利用预训练扩散模型的强大注意力进行基于示例的图像上色
计算机视觉与模式识别
2025-05-28 v1
摘要
基于示例的图像上色旨在使用参考彩色图像为灰度图像上色，确保参考颜色根据语义相似性应用于对应的输入区域。为了实现区域间的精确语义匹配，我们利用了预训练扩散模型的自注意力模块，该模型在大型数据集上训练，展现出强大的注意力能力。为了利用这种能力，我们提出了一种基于预训练扩散模型的新型免微调方法，并做出了两项关键贡献。首先，我们引入了双重注意力引导的颜色迁移。我们利用自注意力模块计算输入图像和参考图像之间的注意力图，有效捕捉语义对应关系。然后，参考图像的颜色特征在此注意力图的引导下迁移到输入图像的语义匹配区域，最后，灰度特征被替换为相应的颜色特征。值得注意的是，我们利用双重注意力分别计算灰度和彩色图像的注意力图，实现了更精确的语义对齐。其次，我们提出了无分类器上色引导，通过结合颜色迁移和非颜色迁移的输出，增强了迁移后的颜色。此过程提高了上色的质量。我们的实验结果表明，我们的方法在图像质量和对参考图像的保真度方面均优于现有技术。具体来说，我们使用了先前研究中的 335 对输入-参考图像对，实现了 95.27 的 FID（图像质量）和 5.51 的 SI-FID（对参考图像的保真度）。我们的源代码可在 https://github.com/satoshi-kosugi/powerful-attention 获取。
引用
@article{arxiv.2505.15812,
title = {Leveraging the Powerful Attention of a Pre-trained Diffusion Model for Exemplar-based Image Colorization},
author = {Satoshi Kosugi},
journal= {arXiv preprint arXiv:2505.15812},
year = {2025}
}
备注
Accepted to IEEE Transactions on Circuits and Systems for Video Technology (TCSVT)