基于扩散的3D结构引导面部美学增强
计算机视觉与模式识别
2025-03-19 v1
摘要
面部美学增强（FAE）旨在通过调整面部图像的结构和外观来提高面部吸引力，同时尽可能保持其身份。大多数现有方法采用基于深度特征或基于分数的引导来指导生成模型进行FAE。尽管这些方法取得了有前景的结果，但它们可能产生过度美化且身份一致性较低的结果，或对面部吸引力的提升不足。为了在较少损失身份的情况下增强面部美学，我们提出了基于最近邻结构引导的扩散方法（NNSG-Diffusion），这是一种利用3D结构引导来美化2D面部图像的基于扩散的FAE方法。具体而言，我们提出从最近邻参考人脸中提取FAE引导。为了允许在FAE过程中对面部结构进行较少的改变，通过参考匹配的2D参考人脸和2D输入人脸来恢复3D人脸模型，从而可以从3D人脸模型中提取深度和轮廓引导。然后深度和轮廓线索可以为Stable Diffusion with ControlNet提供有效的FAE引导。大量实验证明，我们的方法在增强面部美学的同时保持面部身份方面优于先前相关方法。
引用
@article{arxiv.2503.14402,
title = {Diffusion-based Facial Aesthetics Enhancement with 3D Structure Guidance},
author = {Lisha Li and Jingwen Hou and Weide Liu and Yuming Fang and Jiebin Yan},
journal= {arXiv preprint arXiv:2503.14402},
year = {2025}
}