OSTeC：单次纹理补全
计算机视觉与模式识别
2022-03-28 v1
摘要
过去几年见证了非线性生成模型在合成高质量逼真人脸图像方面的巨大成功。许多近期从单张图像进行 3D 面部纹理重建与姿态操控的方法仍依赖大型且干净的人脸数据集来训练图像到图像的生成对抗网络（Generative Adversarial Networks, GANs）。然而，收集如此大规模高分辨率 3D 纹理数据集仍非常昂贵且难以维持年龄/种族平衡。此外，基于回归的方法难以泛化到真实场景条件，且无法对目标图像进行微调。在本工作中，我们提出一种无监督的单次 3D 面部纹理补全方法，其不需要大规模纹理数据集，而是利用存储在 2D 人脸生成器中的知识。所提方法将输入图像在 3D 中旋转，并基于可见部分通过 2D 人脸生成器重建旋转后图像来填补不可见区域。最后，我们在 UV 图像平面中拼接不同角度下最可见的纹理。进一步地，我们通过将补全纹理投影回生成器来将目标图像正面化。定性与定量实验表明，补全的 UV 纹理与正面化图像质量高、保留原始身份，可用于训练纹理 GAN 模型以进行 3DMM 拟合并改善姿态不变人脸识别。
引用
@article{arxiv.2012.15370,
title = {OSTeC: One-Shot Texture Completion},
author = {Baris Gecer and Jiankang Deng and Stefanos Zafeiriou},
journal= {arXiv preprint arXiv:2012.15370},
year = {2022}
}
备注
Project page: https://github.com/barisgecer/OSTeC