PAV：从非结构化视频集合中生成个性化头部头像
计算机视觉与模式识别
2024-08-01 v1
摘要
我们提出了 PAV（Personalized Head Avatar），用于在任意视点和面部表情下合成人脸。PAV 引入一种方法，从同一角色在不同外观和形状变化下的单目说话人脸视频集合中学习动态可变形神经辐射场（NeRF）。不同于现有的头部 NeRF 方法仅能按per-appearance 建模输入视频，本方法允许学习多外观 NeRF，引入可学习的潜在神经特征为每个输入视频绑定几何结构的外观嵌入。此外，所提出的外观条件密度公式促进了角色在 radiance field 预测中的形变，如面部胡须和软组织。迄今为止，我们的方法是首个能够在单一统一网络中建模同一受试者的多外观及其形状变化的动态可变形 NeRF 框架。我们通过在多个受试者上的定性和定量研究实验表明，PAV 在视觉渲染质量方面优于基线方法。
引用
@article{arxiv.2407.21047,
title = {PAV: Personalized Head Avatar from Unstructured Video Collection},
author = {Akin Caliskan and Berkay Kicanaoglu and Hyeongwoo Kim},
journal= {arXiv preprint arXiv:2407.21047},
year = {2024}
}
备注
Accepted to ECCV24. Project page: https://akincaliskan3d.github.io/PAV