基于扩散先验的多模态语义感知自动色彩
计算机视觉与模式识别
2024-04-26 v1
摘要
对灰度图像进行自动色彩化提供了引人入胜的视觉体验。现有的自动色彩方法常常无法生成令人满意的结果，due to 错误的语义色彩和不饱和的色彩。本文提出了一条自动色彩管线以克服这些挑战。我们利用扩散先验的卓越生成能力来合成具有合理语义的色彩。为克服扩散先验引入的伪影，我们应用了亮度条件引导。此外，我们采用多模态高层语义先验以帮助模型理解图像内容并提供饱和色彩。此外，设计了一个受亮度启发的解码器以恢复细节并提升整体视觉质量。所提出的管线在保持合理语义的同时合成饱和色彩。实验表明，我们的方法在考虑多样性和忠实性方面，超越了以前的方法在感知真实性和获取大多数人类偏好方面取得了显著成果。
引用
@article{arxiv.2404.16678,
title = {Multimodal Semantic-Aware Automatic Colorization with Diffusion Prior},
author = {Han Wang and Xinning Chai and Yiwen Wang and Yuhong Zhang and Rong Xie and Li Song},
journal= {arXiv preprint arXiv:2404.16678},
year = {2024}
}