SPDGAN：基于 SPD 流形学习的生成对抗网络用于自动图像着色
计算机视觉与模式识别
2025-02-26 v2 人工智能
摘要
本文解决了自动着色问题，即将灰度图像转换为彩色图像。最近的深度学习方法可以自动为灰度图像着色。然而，当涉及包含不同色彩风格的不同场景时，难以准确捕捉色彩特征。在本工作中，我们提出了一种基于对称正定 (SPD) 流形学习和生成对抗网络 (SPDGAN) 的全自动着色方法，以提高着色结果的质量。我们的 SPDGAN 模型在两个判别器和一个生成器之间建立了对抗博弈。后者基于经过少量修改的 ResNet 架构，其目标是通过残差连接在不丢失跨层色彩信息的情况下生成伪造的彩色图像。随后，我们采用了来自不同域的两个判别器。第一个专用于图像像素域，而第二个专用于黎曼流形域，有助于避免色彩错位。我们在 Places365 和 COCO-stuff 数据库上进行了大量实验，以测试 SPDGAN 各组件的效果。此外，与最先进方法的定量和定性比较表明，我们的模型能够生成视觉上更真实、伪影更少的彩色图像，并在 PSNR、SSIM 和 FID 值上取得良好结果，从而证明了其有效性。
引用
@article{arxiv.2312.13506,
title = {SPDGAN: A Generative Adversarial Network based on SPD Manifold Learning for Automatic Image Colorization},
author = {Youssef Mourchid and Marc Donias and Yannick Berthoumieu and Mohamed Najim},
journal= {arXiv preprint arXiv:2312.13506},
year = {2025}
}