HunyuanPortrait：基于隐式条件控制的增强型人像动画

我们提出 HunyuanPortrait，一种基于扩散的条件控制方法，采用隐式表示实现高度可控且逼真的人像动画。给定单张人像图像作为外观参考，并以视频片段作为驱动模板，HunyuanPortrait 能够根据驱动视频中的面部表情和头部姿态对参考图像中的角色进行动画化。在我们的框架中，我们利用预训练编码器实现视频中人像运动信息与身份的解耦。为此，采用隐式表示对运动信息进行编码，并将其作为动画阶段的控制信号。通过利用稳定视频扩散(Stable Video Diffusion)作为主要构建模块，我们精心设计适配器层，通过注意力机制将控制信号注入去噪 U-Net。这带来了空间细节的丰富性和时间一致性。HunyuanPortrait 还表现出强大的泛化性能，能够在不同图像风格下有效解耦外观与运动。我们的框架优于现有方法，展示了卓越的时间一致性和可控性。项目页面见 https://kkakkkka.github.io/HunyuanPortrait。