PERSONA：基于单张图像的自适应全身 3D 头像

创建可动画人类头像存在两种主要方法。第一种基于 3D 的方法，从单个人的视频中优化 NeRF 或 3DGS 基础的头像，通过解耦身份表示实现个性化。然而，建模如非刚性布料变形等姿态驱动变形需要大量包含丰富姿态的视频，这在日常生活中成本高昂且不实用。第二种基于扩散的方法从大规模野生视频中学习姿态驱动变形，但在身份保持和姿态相关身份 entanglement 上存在困难。我们提出了 PERSONA 框架，综合两者优势，从单张图像获取具有姿态驱动变形的个性化 3D 人类头像。PERSONA 利用基于扩散的方法从输入图像生成姿态丰富的视频，并对其进行 3D 头像优化。为确保在多种姿态下具有高保真度和锐利渲染，我们引入了平衡抽样和几何加权优化。平衡抽样对输入图像进行过采样，以缓解扩散生成训练视频中的身份偏移。几何加权优化优先考虑几何约束而非图像损失，保留在多种姿态下的渲染质量。