GTN-Bailando：基于预训练流派令牌网络的流派一致长时序 3D 舞蹈生成
声音
2023-04-26 v1 多媒体
音频与语音处理
摘要
音乐驱动的 3D 舞蹈生成近年来成为研究热点，具有巨大的实际应用潜力。现有多数方法缺乏对流派（genre）的考量，导致生成舞蹈动作存在流派不一致问题。此外，舞蹈流派与音乐之间的关联尚未被研究。为解决这些问题，我们提出了一种流派一致的舞蹈生成框架 GTN-Bailando。首先，我们提出流派令牌网络（GTN），从音乐中推断流派以增强长时序舞蹈生成的流派一致性。其次，为提升模型泛化能力，采用了预训练与微调策略。在 AIST++ 数据集上的实验结果表明，所提舞蹈生成框架在运动质量与流派一致性上均优于当前最优方法。
引用
@article{arxiv.2304.12704,
title = {GTN-Bailando: Genre Consistent Long-Term 3D Dance Generation based on Pre-trained Genre Token Network},
author = {Haolin Zhuang and Shun Lei and Long Xiao and Weiqin Li and Liyang Chen and Sicheng Yang and Zhiyong Wu and Shiyin Kang and Helen Meng},
journal= {arXiv preprint arXiv:2304.12704},
year = {2023}
}
备注
Accepted by ICASSP2023.Demo page: https://im1eon.github.io/ICASSP23-GTNB-DG/