MagicPose：基于身份感知扩散的逼真人体姿态与面部表情重定向
计算机视觉与模式识别
2024-05-07 v3
摘要
在本工作中，我们提出MagicPose，一种基于扩散模型的2D人体姿态与面部表情重定向模型。具体而言，给定一张参考图像，我们的目标是通过控制姿态与面部表情来生成该人物的新图像，同时保持身份不变。为此，我们提出一种两阶段训练策略以解耦人体运动与外观（如面部表情、肤色与着装），包括（1）外观控制块的预训练与（2）学习外观解耦的姿态控制。我们的新颖设计实现了对生成人体图像中外观的鲁棒控制，包括身体、面部属性乃至背景。通过利用图像扩散模型的先验知识，MagicPose无需额外微调即可很好地泛化至未见人物身份与复杂姿态。此外，所提模型易于使用，可视为Stable Diffusion的插件模块/扩展。代码见：https://github.com/Boese0601/MagicDance
引用
@article{arxiv.2311.12052,
title = {MagicPose: Realistic Human Poses and Facial Expressions Retargeting with Identity-aware Diffusion},
author = {Di Chang and Yichun Shi and Quankai Gao and Jessica Fu and Hongyi Xu and Guoxian Song and Qing Yan and Yizhe Zhu and Xiao Yang and Mohammad Soleymani},
journal= {arXiv preprint arXiv:2311.12052},
year = {2024}
}
备注
Accepted by ICML 2024. MagicPose and MagicDance are the same project. Website:https://boese0601.github.io/magicdance/ Code:https://github.com/Boese0601/MagicDance