利用区域监督和运动模糊条件实现高质量人体图像动画
计算机视觉与模式识别
2024-10-01 v1
摘要
视频扩散模型的最新进展使得具有时间一致性的逼真且可控的人体图像动画成为可能。尽管现有方法能生成合理的结果，但它们常常忽略了对面部和手部等关键区域进行区域监督的需求，并且忽视了对运动模糊的显式建模，从而导致不真实的低质量合成。为了解决这些局限性，我们首先利用针对细节区域的区域监督来增强面部和手部的保真度。其次，我们显式地对运动模糊进行建模，以进一步提高外观质量。第三，我们探索了用于高分辨率人体动画的新型训练策略，以提升整体保真度。实验结果表明，我们提出的方法优于最先进的方法，在HumanDance数据集上，相较于最强基线，在重建精度（L1）和感知质量（FVD）方面分别取得了超过21.0%和57.4%的显著提升。代码和模型将开源。
引用
@article{arxiv.2409.19580,
title = {High Quality Human Image Animation using Regional Supervision and Motion Blur Condition},
author = {Zhongcong Xu and Chaoyue Song and Guoxian Song and Jianfeng Zhang and Jun Hao Liew and Hongyi Xu and You Xie and Linjie Luo and Guosheng Lin and Jiashi Feng and Mike Zheng Shou},
journal= {arXiv preprint arXiv:2409.19580},
year = {2024}
}