野外照片级真实360度头部化身
计算机视觉与模式识别
2022-10-24 v1
摘要
为人类交流提供沉浸式3D体验需要一种获取人类360度照片级真实化身的方法。为使这些体验人人可及，仅须使用如手机摄像头等商用硬件来采集化身创建所需数据。为使化身能从任意视角真实渲染，我们需要来自所有角度的训练图像与相机位姿。然而，我们不能依赖所有图像的前景或背景中存在可跟踪特征以用于位姿估计，尤其是头部侧面或背面。为此，我们提出一种在合成数据上训练的新型地标检测器，从人类头部的360度手机视频估计相机位姿，用于创建照片级真实化身的多阶段优化过程。我们使用合成数据开展验证实验，并展示了由手机视频训练的360度化身上的方法效果。
引用
@article{arxiv.2210.11594,
title = {Photo-realistic 360 Head Avatars in the Wild},
author = {Stanislaw Szymanowicz and Virginia Estellers and Tadas Baltrusaitis and Matthew Johnson},
journal= {arXiv preprint arXiv:2210.11594},
year = {2022}
}
备注
ECCV 2022 Workshop on Computer Vision for Metaverse