PointAvatar：基于可变形点的视频头部化身
计算机视觉与模式识别
2023-03-01 v2 图形学
摘要
从随意拍摄的视频序列创建逼真、可动画且可重打光的头部化身，将在通信与娱乐领域带来广泛应用。现有方法或基于显式3D可变形网格(3DMM)，或利用神经隐式表示。前者受限于固定拓扑，后者变形非平凡且渲染低效。此外，现有方法在颜色估计中纠缠了光照，因而在将化身重渲染于新环境时受限。相比之下，我们提出PointAvatar，一种可变形基于点的表示，将源颜色解耦为固有反照率与依赖于法线的明暗。我们证明PointAvatar弥合了现有网格与隐式表示之间的鸿沟，将高质量几何与外观同拓扑灵活性、易变形性与渲染高效性相结合。我们展示该方法能够利用来自多源的单目视频(包括手持智能手机、笔记本摄像头与互联网视频)生成可动画3D化身，在先前方法失效的困难情形(如细发丝)下达到最先进质量，同时训练比竞争方法显著更高效。
引用
@article{arxiv.2212.08377,
title = {PointAvatar: Deformable Point-based Head Avatars from Videos},
author = {Yufeng Zheng and Wang Yifan and Gordon Wetzstein and Michael J. Black and Otmar Hilliges},
journal= {arXiv preprint arXiv:2212.08377},
year = {2023}
}
备注
Project page: https://zhengyuf.github.io/PointAvatar/ Code base: https://github.com/zhengyuf/pointavatar