桥接鸿沟：从单目手机捕获创建类似工作室的化身
计算机视觉与模式识别
2024-07-31 v2
摘要
传统上，为个人创建逼真的化身需要包含复杂昂贵工作室设备（如 LightStage 系统）的大型捕获 session。尽管近期的神经表示取得了进展，使从快速手机扫描生成逼真且可动画的 3D 化身成为可能，但这些方法在捕获时 lighting 已烘焙进去，缺乏面部细节，且在耳后等区域遗漏。因此，与工作室捕获的化身相比，质量仍有欠缺。本文提出一种方法，通过从短时间的单目手机捕获生成类似工作室的照明纹理图。我们通过对手机纹理图进行参数化，使用 StyleGAN2 的 空间实现近乎完美的重建。随后，我们以很小的工作室捕获纹理集合作为对抗训练信号，在 参数化空间中对 StyleGAN2 进行微调。为进一步提高面部细节的真实性和准确性，我们使用精心设计的扩散模型进行超分辨率输出，扩散模型由手机捕获纹理图的图像梯度引导。训练完成后，我们的方法在处理来自普通单目智能手机视频的化身时表现出色，能够生成逼真的、一致照明的、完整化身。项目页面可访问于 http://shahrukhathar.github.io/2024/07/22/Bridging.html
引用
@article{arxiv.2407.19593,
title = {Bridging the Gap: Studio-like Avatar Creation from a Monocular Phone Capture},
author = {ShahRukh Athar and Shunsuke Saito and Zhengyu Yang and Stanislav Pidhorsky and Chen Cao},
journal= {arXiv preprint arXiv:2407.19593},
year = {2024}
}
备注
ECCV 2024