BeautyBank：在潜在空间中编码面部妆容
计算机视觉与模式识别
2024-11-26 v2
摘要
妆容迁移、编辑和图像编码的进展已证明了其有效性和卓越质量。然而，现有的妆容工作主要关注颜色分布和图案等低维特征，限制了它们在广泛妆容应用中的通用性。此外，现有的高维潜在编码方法主要针对结构和风格等全局特征，对于需要关注妆容局部颜色和图案细节的任务效果较差。为克服这些限制，我们提出了BeautyBank，一种新颖的妆容编码器，可解耦素颜和带妆面部的图案特征。我们的方法将妆容特征编码到高维空间中，保留了妆容重建所必需的细节，并拓宽了潜在妆容研究应用的范围。我们还提出了一种渐进式妆容微调（Progressive Makeup Tuning, PMT）策略，专门设计用于增强对细节妆容特征的保留，同时防止无关属性的引入。我们进一步探索了新颖的妆容应用，包括带妆容注入的面部图像生成和妆容相似度度量。大量实证实验验证了我们的方法具有优越的任务适应性，并在各种妆容相关领域具有广泛应用的巨大潜力。此外，为解决该领域缺乏大规模、高质量配对妆容数据集的问题，我们构建了素颜-妆容合成数据集（Bare-Makeup Synthesis Dataset, BMS），包含324,000对512x512像素的素颜和带妆增强面部图像。
引用
@article{arxiv.2411.11231,
title = {BeautyBank: Encoding Facial Makeup in Latent Space},
author = {Qianwen Lu and Xingchao Yang and Takafumi Taketomi},
journal= {arXiv preprint arXiv:2411.11231},
year = {2024}
}