基于拟声词的舞蹈生成
机器学习
2023-06-08 v1 人机交互
声音
音频与语音处理
摘要
本研究提出了一种以拟声词作为输入来生成舞蹈动作的新方法，旨在提升舞蹈生成的创造力与多样性。与文本和音乐不同，拟声词通过抽象的词形表达传递节奏与意义，既无表达约束，也无需专业知识。我们适配了 AI Choreographer 框架，并采用 Sakamoto 系统——一种针对拟声词、聚焦于音素与音节的特征提取方法。此外，我们通过用户调查构建了一个包含 40 组拟声词-舞蹈动作对的新数据集。结果表明，所提方法能够实现更直观的舞蹈生成，并可使用来自多种语言的拟声词（包括那些没有拟声词的语言）创建舞蹈动作。这凸显了跨不同语言与文化、面向更广泛受众的多样化舞蹈创作潜力。我们模型的定性样本可在 https://sites.google.com/view/onomatopoeia-dance/home/ 查看。
引用
@article{arxiv.2306.03646,
title = {Dance Generation by Sound Symbolic Words},
author = {Miki Okamura and Naruya Kondo and Tatsuki Fushimi and Maki Sakamoto and Yoichi Ochiai},
journal= {arXiv preprint arXiv:2306.03646},
year = {2023}
}