姿态转换模型能否生成逼真的人类运动？
计算机视觉与模式识别
2025-01-28 v1 人工智能
机器学习
摘要
最近的姿态转换方法旨在生成人类动作的时序一致且完全可控的视频，其中从参考视频中获得的运动被重新表现给新的身份。我们评估了三种最新姿态转换方法——AnimateAnyone、MagicAnimate 和 ExAvatar——通过生成动作和身份超出训练分布的视频，并对这些视频的质量进行参与者研究。在20种不同人类动作的受控环境中，我们发现，面对姿态转换后的视频，参与者仅在42.92%的情况下正确识别出所需动作。此外，参与者发现生成视频中的动作与参考（源）视频的一致性仅为36.46%。这些结果因方法而异：参与者认为基于点云的 ExAvatar 在一致性和照片写实性方面优于基于扩散的 AnimateAnyone 和 MagicAnimate。
引用
@article{arxiv.2501.15648,
title = {Can Pose Transfer Models Generate Realistic Human Motion?},
author = {Vaclav Knapp and Matyas Bohacek},
journal= {arXiv preprint arXiv:2501.15648},
year = {2025}
}
备注
Data and code available at https://github.com/matyasbohacek/pose-transfer-human-motion