基于姿态感知损失的音乐导向舞蹈视频合成
计算机视觉与模式识别
2019-12-16 v1 机器学习
多媒体
图像与视频处理
摘要
我们提出一种基于学习且带有姿态感知损失的自动音乐视频生成方法。我们的方法能生成符合几乎任意给定音乐的节拍与韵律的逼真舞蹈视频。为此，我们首先从音乐生成人体骨架序列，然后应用学到的姿态到外观映射生成最终视频。在骨架序列生成阶段，我们利用两个判别器捕捉序列的不同方面，并提出一种新颖的姿态感知损失以产生自然的舞蹈。此外，我们还提供一种新的跨模态评估来衡量舞蹈质量，其能够估计音乐与舞蹈两种模态之间的相似度。最后，通过用户研究证明，所提方法合成的舞蹈视频产生了令人惊讶的逼真结果。结果见补充视频 https://youtu.be/0rMuFMZa_K4
引用
@article{arxiv.1912.06606,
title = {Music-oriented Dance Video Synthesis with Pose Perceptual Loss},
author = {Xuanchi Ren and Haoran Li and Zijian Huang and Qifeng Chen},
journal= {arXiv preprint arXiv:1912.06606},
year = {2019}
}