LightHeadEd：从智能手机创建可重绘&可编辑头部头像
计算机视觉与模式识别
2025-04-15 v1
摘要
创建具有光照感知、可动画和可重绘的3D头部头像传统上需要昂贵的Lightstage设备和多个校准摄像机，使其难以实现大规模应用。为弥合这一差距，我们提出一种新颖且成本效益高的、仅使用配备极化滤光片的智能手机即可创建高质量可重绘头部头像的方法。我们的方案涉及在暗室中使用单个点光源同时捕获交叉极化和平行极化视频流，在动态面部表演期间分离皮肤的漫反射和镜面反射成分。我们引入一种混合表示，将二维高斯分布嵌入参数化头部模型的UV空间中，以实现高效的实时渲染，同时保留高保真的几何细节。我们的基于学习的神经分析-合成管线将姿态和表情相关的几何偏移从外观中解耦，将表面分解为反照率、法线和镜面UV纹理图，以及环境光图。我们收集了一个独特的数据集，包含多位主体进行多样化面部表情和头部运动的数据。
引用
@article{arxiv.2504.09671,
title = {LightHeadEd: Relightable & Editable Head Avatars from a Smartphone},
author = {Pranav Manu and Astitva Srivastava and Amit Raj and Varun Jampani and Avinash Sharma and P. J. Narayanan},
journal= {arXiv preprint arXiv:2504.09671},
year = {2025}
}