Durian: 双参考图像引导的人像动画与属性迁移

我们提出了 Durian，这是首个通过一张或多张参考图像向目标人像进行跨身份属性迁移来生成人像动画视频的方法。训练此类模型通常需要同一主体的属性对，而这类数据在大规模上很少见。为应对这一挑战，我们提出了一种自重建框架，利用普通的人像视频学习属性迁移而无需显式的配对数据。同一视频中的两帧充当伪配对：一帧作为属性参考，另一帧作为身份参考。为实现这种自重建训练，我们引入了 Dual ReferenceNet，分别处理两个参考图像，然后通过扩散模型内的空间注意力融合其特征。为确保每个参考图像专门服务于身份或属性信息流，我们对参考图像施加互补掩码。这两个组件共同引导模型重建原始视频，自然地学习跨身份属性迁移。为弥合自重建训练与跨身份推理之间的差距，我们引入了掩码扩展策略和数据增强方案，实现了对具有不同空间范围和错位属性的鲁棒迁移。Durian 在人像动画与属性迁移任务上达到了最先进性能。此外，其双参考设计独特地支持单次生成中的多属性组合与平滑属性插值，实现了高度灵活和可控的合成。