CVTHead：基于顶点特征 Transformer 的单样本可控头部化身
计算机视觉与模式识别
2023-11-14 v1
摘要
重建个性化可动画头部化身在 AR/VR 领域具有重要意义。现有的实现 3D 可变形模型（3DMM）显式人脸控制的方法通常依赖单一主体的多视图图像或视频，使重建过程复杂化。此外，传统渲染流程耗时，限制了实时动画的可能性。本文中，我们提出 CVTHead，一种利用基于点的神经渲染从单张参考图像生成可控神经头部化身的新方法。CVTHead 将网格的稀疏顶点视为点集，并采用所提的顶点特征 Transformer 为每个顶点学习局部特征描述子。这使得所有顶点间的长程依赖得以建模。在 VoxCeleb 数据集上的实验结果表明，CVTHead 取得了与最先进的基于图形的方法相当的性能。此外，它能够以各种表情、头部姿态和相机视角高效渲染新的人头。这些属性可使用 3DMM 的系数进行显式控制，在实时场景中促进多样且逼真的动画。
引用
@article{arxiv.2311.06443,
title = {CVTHead: One-shot Controllable Head Avatar with Vertex-feature Transformer},
author = {Haoyu Ma and Tong Zhang and Shanlin Sun and Xiangyi Yan and Kun Han and Xiaohui Xie},
journal= {arXiv preprint arXiv:2311.06443},
year = {2023}
}
备注
WACV2024