基于参考图像的准确局部面部属性编辑的 3D 语义感知框架
计算机视觉与模式识别
2024-11-19 v2
摘要
面部属性编辑在保持真实外观的同时实现具有特定特征的逼真面部合成发挥着关键作用。尽管已有进展，但在实现精确的 3D 感知属性修改方面仍面临挑战，这对于从不同视角表示面部具有一致且准确的重要性。当前方法在语义 entangled 方面不堪一击，缺乏有效的引导机制以在保持图像完整性的同时融合属性。为此，我们提出一种新框架，融合基于潜在空间和基于参考图像编辑方法的优势。该方法采用 3D 生成对抗网络反演技术，将参考图像中的属性嵌入三平面空间，确保 3D 一致性及多视角下的真实感。我们利用混合技术和预测的语义掩码定位精确的编辑区域，将其与参考图像的上下文引导相合并。随后应用粗到细填充策略以保留非目标区域的完整性，显著提升真实感。我们的评估表明，在多样化的编辑任务中本框架均表现出优异性能，验证了其在真实可应用的面部属性编辑中的有效性。
引用
@article{arxiv.2407.18392,
title = {A Reference-Based 3D Semantic-Aware Framework for Accurate Local Facial Attribute Editing},
author = {Yu-Kai Huang and Yutong Zheng and Yen-Shuo Su and Anudeepsekhar Bolimera and Han Zhang and Fangyi Chen and Marios Savvides},
journal= {arXiv preprint arXiv:2407.18392},
year = {2024}
}