通过融合频率与音乐风格信息增强舞蹈生成的表现力
多媒体
2024-03-12 v1 声音
音频与语音处理
摘要
舞蹈生成作为人体运动生成的一个分支，日益受到关注。近期，少数研究尝试从某些方面增强舞蹈的表现力，包括风格匹配、节拍对齐和舞蹈动态。然而，由于缺乏对上述三个因素的综合考量，这种增强十分有限。本文提出 ExpressiveBailendo，一种旨在生成富有表现力舞蹈的新型舞蹈生成方法，该方法同时兼顾了上述三个因素。具体而言，我们通过将频率信息引入 VQ-VAE 来缓解速度同质化问题，从而改善舞蹈动态。此外，我们利用预训练音乐模型提取与风格和节拍相关的特征以融合音乐风格信息，进而在另外两个因素上取得改进。大量实验结果表明，所提方法能生成高表现力的舞蹈，并在定性和定量上均优于现有方法。
引用
@article{arxiv.2403.05834,
title = {Enhancing Expressiveness in Dance Generation via Integrating Frequency and Music Style Information},
author = {Qiaochu Huang and Xu He and Boshi Tang and Haolin Zhuang and Liyang Chen and Shuochen Gao and Zhiyong Wu and Haozhi Huang and Helen Meng},
journal= {arXiv preprint arXiv:2403.05834},
year = {2024}
}