音乐作曲与舞蹈编舞的对偶学习
声音
2022-02-01 v1 计算机视觉与模式识别
机器学习
多媒体
音频与语音处理
摘要
音乐与舞蹈始终作为人类活动的支柱共存,几乎在所有社会中都为文化、社会与娱乐功能作出巨大贡献。尽管音乐与舞蹈逐渐系统化为两门独立学科,它们之间亲密的联系不可否认,且一种艺术形式常因缺少另一种而不完整。近期研究探讨了以音乐为条件的舞蹈序列生成模型。然而,为给定舞蹈作曲的对偶任务在很大程度上被忽视。本文提出一种新颖扩展,以对偶学习方式联合建模这两个任务。为利用两种模态的对偶性,我们引入最优传输目标以对齐特征嵌入,以及循环一致性损失以促进整体一致性。实验结果表明,我们的对偶学习框架提升了单项任务性能,生成的音乐作曲与舞蹈编舞真实且忠实于条件输入。
引用
@article{arxiv.2201.11999,
title = {Dual Learning Music Composition and Dance Choreography},
author = {Shuang Wu and Zhenguang Li and Shijian Lu and Li Cheng},
journal= {arXiv preprint arXiv:2201.11999},
year = {2022}
}
备注
ACMMM 2021 (Oral)