基于变分自编码器与面部掩码的人脸重建
计算机视觉与模式识别
2022-03-16 v1 机器学习
摘要
变分自编码器（Variational AutoEncoder, VAE）采用深度学习模型来学习位于高维观测数据集之下的连续隐变量 z 空间。由此可实现诸多任务，包括人脸重建与人脸合成。在本工作中，我们研究了面部掩码如何通过限制学习过程仅关注面部掩码所选定的像素，从而辅助 VAE 进行人脸重建的训练。使用 celebA 数据集对所提方法的评估表明，借助面部掩码可增强重建图像的质量，尤其是在将 SSIM 损失与 l1 或 l2 损失函数结合使用时。我们注意到，在架构中引入用于面部掩码预测的解码器会影响 l1 或 l2 损失函数的性能，而对于 SSIM 损失则不存在这一问题。此外，在所有测试的假设中，SSIM 感知损失产生了最清晰的样本，尽管它会偏移图像原始颜色，因此将 l1 或 l2 损失与 SSIM 联合使用有助于解决该问题。
引用
@article{arxiv.2112.02139,
title = {Face Reconstruction with Variational Autoencoder and Face Masks},
author = {Rafael S. Toledo and Eric A. Antonelo},
journal= {arXiv preprint arXiv:2112.02139},
year = {2022}
}
备注
12 pages, 7 figures, 18th Encontro Nacional de Intelig\^encia Artificial e Computacional (ENIAC)