学习空间解耦的颜色表示以实现面部图像着色

图像着色方法在自然图像上已展现出显著的性能。然而，由于人类对面部更为敏感，现有方法在应用于面部图像时往往不足，通常呈现出不自然且不均匀的着色结果。在本文中，我们研究了面部图像着色任务，并发现面部图像的问题可归因于对面部组件理解不足。作为补救措施，通过引入面部组件先验，我们提出了一种新颖的面部图像着色框架FCNet。具体而言，我们在面部解析图的指导下，为每个面部组件（如嘴唇、皮肤、眼睛和头发）学习解耦的颜色表示。我们提出了一种色调和空间增强策略来促进学习过程，该策略仅需灰度与彩色面部图像对。训练完成后，所提出的FCNet可以自然地应用于单参考或多参考图像的面部图像着色。为了将应用范式扩展到无参考图像的场景，我们进一步训练了两个替代模块，分别从灰度输入或随机种子预测颜色表示。大量实验表明，我们的方法在各种应用场景（即无参考、单参考和多参考面部图像着色）中表现优于现有方法。源代码和预训练模型将公开发布。