RealisDance: 为可控角色动画配备逼真的手部
计算机视觉与模式识别
2024-09-11 v1
摘要
可控角色动画是一种生成由给定角色图像的姿态序列控制的角色视频的新兴任务。虽然通过参考 UNet 已取得了显著进展以实现角色一致性，但另一个关键因素——姿态控制——尚未被现有方法充分研究，导致诸多问题：1）当输入姿态序列受损时，生成可能失败。2）使用 DWPose 生成的手部模糊且不真实。3）若姿态序列不够光滑，生成的视频将出现抖动。本文提出 RealisDance 以解决上述问题。RealisDance 适应性地利用三种姿态，避免因损坏的姿态序列导致生成失败。在这些姿态类型中，HaMeR 提供手部的准确 3D 和深度信息，使 RealisDance 能够为复杂手势生成逼真的手部。此外，除了在主 UNet 中使用时序注意力外，RealisDance 还在姿态引导网络中插入时序注意力，从姿态条件方面平滑视频。我们还在训练期间引入姿态随机化数据增强，以进一步提高生成的鲁棒性和视频的平滑度。定性实验表明，RealisDance 在手部质量方面优于其他现有方法。
引用
@article{arxiv.2409.06202,
title = {RealisDance: Equip controllable character animation with realistic hands},
author = {Jingkai Zhou and Benzhi Wang and Weihua Chen and Jingqi Bai and Dongyang Li and Aixi Zhang and Hao Xu and Mingyang Yang and Fan Wang},
journal= {arXiv preprint arXiv:2409.06202},
year = {2024}
}
备注
Technical Report