基于扩散模型的面部区域感知化妆迁移
计算机视觉与模式识别
2026-03-26 v2
摘要
当前基于扩散模型的化妆迁移方法通常使用面向通用任务预训练的基础模型（如 CLIP）编码的化妆信息作为条件，以保留参考图像中的化妆风格。虽然有效，但这些方法主要存在两个局限：(1) 面向通用任务的基础模型难以捕获化妆风格；(2) 化妆特征作为整体被注入扩散去噪模型，忽略面部区域感知的化妆特征（如眼睛、嘴唇等），限制了区域特定化妆迁移的可控性。为此，本文提出了面部区域感知化妆特征 (FRAM)，包含两个阶段：(1) 化妆 CLIP 微调；(2) 身份和面部区域感知的化妆注入。对于化妆 CLIP 微调，不同于使用现成的 CLIP，本文合成带注释的化妆风格数据，并通过自监督学习和图像-文本对比学习训练化妆 CLIP 编码器。对于身份和面部区域感知的化妆注入，我们从阶段 1 中的编辑图像构建前后化妆图像对，并学习将源图像的身份和参考图像的化妆注入扩散去噪模型以实现化妆迁移。具体而言，我们使用可学习的 token 查询化妆 CLIP 编码器以提取面部区域感知的化妆特征进行注入，通过注意力损失实现区域控制。对于身份注入，我们使用 ControlNet Union 对源图像及其 3D 网格进行编码。实验结果验证了区域可控性和化妆迁移性能的优越性。代码已在 https://github.com/zaczgao/Facial_Region-Aware_Makeup 上开源。
关键词
引用
@article{arxiv.2603.20012,
title = {Diffusion-Based Makeup Transfer with Facial Region-Aware Makeup Features},
author = {Zheng Gao and Debin Meng and Yunqi Miao and Zhensong Zhang and Songcen Xu and Ioannis Patras and Jifei Song},
journal= {arXiv preprint arXiv:2603.20012},
year = {2026}
}
备注
Accepted by CVPR'26