基于 Registers 的低秩头部虚拟人个性化

我们提出了一种用于头部虚拟人生成的通用模型低秩个性化新方法。先前的工作通过利用多身份的大规模数据集，提出了能够实现高质量人脸动画的通用模型。然而，此类通用模型通常无法合成独特的特定身份细节，因为它们学习的是通用领域先验。为了适应特定主体，我们发现通过低秩适应等流行解决方案来捕捉高频面部细节仍然具有挑战性。这促使我们提出了一种特定的架构——Register Module，该模块增强了 LoRA 的性能，且仅需少量参数即可适应未见过的身份。我们的模块应用于预训练模型的中间特征，在可学习的 3D 特征空间中存储并重新利用信息。为了证明我们个性化方法的有效性，我们收集了一个包含具有独特面部细节（如皱纹和纹身）的个体说话视频的数据集。我们的方法忠实捕捉了未见过的面孔，在定量和定性上均优于现有方法。我们将向公众发布代码、模型和数据集。