使用对比扩散的可控群体编舞
计算机视觉与模式识别
2023-11-07 v2
摘要
音乐驱动的群体编舞是一项重大挑战，但在广泛的工业应用中具有显著潜力。生成与音乐对齐且同步、视觉吸引人的群体舞蹈动作，为娱乐、广告和虚拟表演等诸多领域带来机遇。然而，近期大多数工作无法生成高保真长期动作，或未能实现可控体验。在本工作中，我们旨在通过有效调控群体编舞的一致性与多样性，满足高质量且可定制群体舞蹈生成的需求。具体而言，我们利用基于扩散的生成方法，实现灵活人数与长期群体舞蹈的合成，同时确保与输入音乐的连贯性。最终，我们引入群体对比扩散（Group Contrastive Diffusion, GCD）策略，以增强舞者与群体之间的联系，并通过分类器引导采样技术展示控制合成群体动画一致性或多样性水平的能力。通过大量实验与评估，我们证明了该方法在生成视觉迷人且一致的群体舞蹈动作方面的有效性。实验结果显示，我们的方法能够在保持生成群体编舞整体质量的同时，达到所需的一致性与多样性水平。源代码见 https://aioz-ai.github.io/GCD
引用
@article{arxiv.2310.18986,
title = {Controllable Group Choreography using Contrastive Diffusion},
author = {Nhat Le and Tuong Do and Khoa Do and Hien Nguyen and Erman Tjiputra and Quang D. Tran and Anh Nguyen},
journal= {arXiv preprint arXiv:2310.18986},
year = {2023}
}