音频到身体动态
音频与语音处理
2020-05-11 v1 计算机视觉与模式识别
声音
摘要
我们提出了一种方法，其输入为小提琴或钢琴演奏的音频，输出为骨架预测视频，并进一步用于驱动虚拟角色动画。其关键思想是从音频出发，创建一个虚拟角色的动画，使其手部运动类似于钢琴家或小提琴家的动作。旨在实现完全细致正确的手臂与手指运动是一个目标，然而，身体运动是否可从音乐中预测尚不清楚。在本文中，我们展示了首个表明自然身体动态至少可被预测的结果。我们构建了一个 LSTM 网络，并在上传至互联网的小提琴与钢琴演奏视频上进行训练。预测的点被应用于绑定骨骼的虚拟角色以创建动画。
引用
@article{arxiv.1712.09382,
title = {Audio to Body Dynamics},
author = {Eli Shlizerman and Lucio M. Dery and Hayden Schoen and Ira Kemelmacher-Shlizerman},
journal= {arXiv preprint arXiv:1712.09382},
year = {2020}
}
备注
Link with videos https://arviolin.github.io/AudioBodyDynamics/