像素编解码头像
计算机视觉与模式识别
2021-04-13 v1
摘要
在虚拟或增强现实中使用照片级真实感头像进行远程通信，是在三维空间中跨越物理距离实现真实面对面通信的一条有前景的路径。在本工作中，我们提出像素编解码头像 (PiCA)：一种 3D 人脸的深度生成模型，其在实现最先进重建性能的同时，计算高效且能自适应执行期间的渲染条件。我们的模型结合了两个核心思想：(1) 用于解码空间变化特征的全卷积架构，以及 (2) 渲染自适应的逐像素解码器。这两种技术通过一个稠密表面表示进行集成，该表示以弱监督方式从训练图像上的低拓扑网格跟踪中学习得到。我们证明，在不同性别和肤色的测试对象上，PiCA 跨表情和视角改善了相对于现有技术的重建效果。重要的是，我们展示了 PiCA 模型远比最先进基线模型小，并使多人远程通信成为可能：在单个 Oculus Quest 2 移动 VR 头显上，同一场景中实时渲染了 5 个头像。
引用
@article{arxiv.2104.04638,
title = {Pixel Codec Avatars},
author = {Shugao Ma and Tomas Simon and Jason Saragih and Dawei Wang and Yuecheng Li and Fernando De La Torre and Yaser Sheikh},
journal= {arXiv preprint arXiv:2104.04638},
year = {2021}
}
备注
CVPR 2021 Oral