基于不确定性引导的面部素描：面向遮挡的面部变换

面部滤镜已成为短视频内容的关键要素，使其能够实现各种视觉效果，如风格化和人脸替换。然而，面部滤镜的性能在遮挡物（如手、发、配饰）遮挡面部时常常下降。为此，我们提出了面部素描的新任务，该任务估计细粒度 alpha 贴图，以分离遮挡元素与面部区域。我们进一步提出了 FaceMat，一个无 trimap、无不确定性感知的框架，用于在复杂遮挡下预测高质量的 alpha 贴图。我们的方法采用两阶段训练管道：教师模型被训练联合估计 alpha 贴图和每个像素的不确定性，使用负对数似然 (NLL) 损失；然后，该不确定性被用于通过空间自适应知识蒸馏指导学生模型。这一表述使学生能够专注于模糊或遮挡区域，从而提高泛化性并保持语义一致性。不同于依赖 trimap 或分割掩码的先前方法，我们的框架无需额外输入，因而适用于实时应用。此外，我们通过将皮肤明确视为前景将遮挡物视为背景，重新定义了素描目标，从而实现更清晰的合成策略。为支持这一任务，我们构建了 CelebAMat，一个大规模的人造数据集，专为面向遮挡的面部素描而设计。广泛的实验表明，FaceMat 在多个基准测试中超越了最先进的方法，显著提升了面部滤镜在现实、不受约束的视频场景中的视觉质量和鲁棒性。源代码和 CelebAMat 数据集已提供。