FaceRefiner：基于可微渲染风格迁移的高保真面部纹理精修
计算机视觉与模式识别
2026-01-09 v1
摘要
近期的面部纹理生成方法倾向于使用深度网络合成图像内容，然后填充 UV 图，从而从单张图像生成引人注目的完整纹理。然而，合成的纹理 UV 图通常来自由训练数据或 2D 人脸生成器构建的空间，这限制了该方法对自然输入图像的泛化能力。因此，其面部细节、结构和身份可能与输入不一致。在本文中，我们通过提出一种基于风格迁移的面部纹理精修方法 FaceRefiner 来解决这个问题。FaceRefiner 将 3D 采样纹理视为风格，将纹理生成方法的输出视为内容。然后期望将照片级真实的风格从风格图像迁移到内容图像。与仅将高层和中层信息迁移到结果的当前风格迁移方法不同，我们的风格迁移方法集成了可微渲染，以在可见面部区域中也迁移低层（或像素级）信息。这种多层信息迁移的主要好处是，可以很好地保留输入中的细节、结构和语义。在 Multi-PIE、CelebA 和 FFHQ 数据集上的大量实验表明，与最先进方法相比，我们的精修方法可以提高纹理质量和人脸身份保持能力。
引用
@article{arxiv.2601.04520,
title = {FaceRefiner: High-Fidelity Facial Texture Refinement with Differentiable Rendering-based Style Transfer},
author = {Chengyang Li and Baoping Cheng and Yao Cheng and Haocheng Zhang and Renshuai Liu and Yinglin Zheng and Jing Liao and Xuan Cheng},
journal= {arXiv preprint arXiv:2601.04520},
year = {2026}
}
备注
Accepted by IEEE Transactions on Multimedia