AvatarStudio：文本驱动的3D动态人头化身编辑

捕获并编辑完整头部表演可用于创建虚拟角色，在扩展现实与媒体制作等方面有诸多应用。过去几年中人头化身的真实感急剧提升。此类化身可通过不同输入数据模态控制，包括RGB、音频、深度、IMU等。尽管这些数据模态提供了有效的控制手段，但其大多聚焦于编辑头部运动如面部表情、头部姿态和/或相机视角。本文提出AvatarStudio，一种基于文本编辑动态完整头部化身外观的方法。我们的方法基于已有工作，使用神经辐射场（NeRF）捕获人头动态表演，并用文本到图像扩散模型编辑该表示。具体而言，我们引入一种优化策略，将代表视频表演中不同相机视角和时间戳的多个关键帧整合进单一扩散模型。利用该个性化扩散模型，我们遵循基于模型的引导方法，通过引入视角与时间感知的分数蒸馏采样（VT-SDS）来编辑动态NeRF。我们的方法在规范空间中编辑完整头部，随后通过预训练形变网络将这些编辑传播至其余时间步。我们通过用户研究对方法做了视觉与数值评估，结果表明我们的方法优于现有方法。我们的实验验证了方法的设计选择，并凸显出我们的编辑是真实的、个性化的，且具备3D与时间一致性。