CoheDancers：通过音乐驱动的一致性分解增强交互式群体舞蹈生成
声音
2024-12-30 v1 多媒体
音频与语音处理
摘要
舞蹈生成在像舞蹈表演和虚拟游戏等领域具有重要意义且具有挑战性。当前文献中，大多数方法专注于单人音乐2D舞蹈。虽然有针对群体音乐2D舞蹈的研究，但往往存在一致性不足，导致审美效果较差的舞蹈表演。因此，我们引入 CoheDancers，这是一个新的框架，用于音乐驱动的交互式群体舞蹈生成。CoheDancers旨在通过将其分解为三个关键方面来增强群体舞蹈生成的一致性：同步性、自然性和流畅性。相应地，我们开发了基于循环一致性的舞蹈同步策略以促进音乐与舞蹈的对应关系，开发了基于自回归的曝光偏差纠正策略以增强生成舞蹈的流畅性，以及采用对抗训练策略以提升群体舞蹈输出的自然性。这些策略共同使 CoheDancers 能够产生高度一致的群体舞蹈并具有卓越的质量。此外，为了为群体音乐2D舞蹈建立更好的基准，我们构建了目前最具多样性和全面的开源数据集 I-Dancers，包含丰富的舞者互动，并创建了全面的评估指标。在 I-Dancers 和其他现有数据集上的实验评估表明，CoheDancers 实现了前所未有的领先性能。代码将公开 release。
引用
@article{arxiv.2412.19123,
title = {CoheDancers: Enhancing Interactive Group Dance Generation through Music-Driven Coherence Decomposition},
author = {Kaixing Yang and Xulong Tang and Haoyu Wu and Qinliang Xue and Biao Qin and Hongyan Liu and Zhaoxin Fan},
journal= {arXiv preprint arXiv:2412.19123},
year = {2024}
}