POPDG：基于PopDanceSet的流行3D舞蹈生成
声音
2024-12-30 v2 音频与语音处理
摘要
生成既逼真又与音乐良好对齐的舞蹈仍然是跨模态领域的一项挑战性任务。本文介绍了PopDanceSet，这是第一个针对年轻观众偏好的数据集，能够生成具有美学导向的舞蹈。它在音乐流派多样性以及舞蹈动作的复杂性和深度方面超越了AIST++数据集。此外，在iDDPM框架内提出的POPDG模型增强了舞蹈多样性，并通过空间增强算法加强了人体关节之间的空间物理连接，确保多样性的增加不会损害生成质量。还设计了一个简化的对齐模块，以改善舞蹈与音乐之间的时间对齐。大量实验表明，POPDG在两个数据集上达到了SOTA结果。此外，本文还扩展了当前的评估指标。数据集和代码可在https://github.com/Luke-Luo1/POPDG获取。
引用
@article{arxiv.2405.03178,
title = {POPDG: Popular 3D Dance Generation with PopDanceSet},
author = {Zhenye Luo and Min Ren and Xuecai Hu and Yongzhen Huang and Li Yao},
journal= {arXiv preprint arXiv:2405.03178},
year = {2024}
}
备注
Accepted by IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2024