基于可控文本描述和分割掩码的实例感知图像上色方法
计算机视觉与模式识别
2025-09-26 v2 人工智能
摘要
近期，深度学习在图像上色领域取得了广泛关注。扩散模型的成熟进一步推动了图像上色模型的发展。然而，当前主流的图像上色模型仍面临色彩漂移和色彩绑定错误等问题，无法在实例级别上完成上色。在本文中，我们提出了一种基于扩散的上色方法 MT-Color，通过提供引导实现精确的实例感知上色。为解决色彩漂移问题，我们设计了一种像素级掩码注意力机制，通过跨注意力将潜在特征和条件灰度图像特征进行整合。我们使用分割掩码构建跨注意力掩码，防止像素信息在不同实例之间交换。我们还引入了实例掩码和文本引导模块，从中提取每个实例的掩码和文本表示，然后通过自注意力将其与潜在特征融合，利用实例掩码形成自注意力掩码，防止实例文本指导其他区域的上色，从而缓解色彩绑定错误。此外，我们应用多实例采样策略，对每个实例区域分别进行采样后进行结果融合。此外，我们利用大型视觉语言模型在现有图像数据集上构建了一个专用于实例级别上色任务的 specialized 数据集，GPT-color。定性和定量实验表明，我们的方法和数据集均优于以前的方法和数据集。
引用
@article{arxiv.2505.08705,
title = {Instance-aware Image Colorization with Controllable Textual Descriptions and Segmentation Masks},
author = {Yanru An and Ling Gui and Chunlei Cai and Tianxiao Ye and JIangchao Yao and Guangtao Zhai and Qiang Hu and Xiaoyun Zhang},
journal= {arXiv preprint arXiv:2505.08705},
year = {2025}
}