交互式彩虹乐谱：以视觉为中心的多模态长笛教学系统
人机交互
2020-04-30 v1
摘要
学习演奏乐器本质上是多模态的，我们已看到在音乐游戏和计算机辅助音乐教学系统中应用视觉与触觉反馈的趋势。然而，大多数现有系统仍是为掌握单首乐曲而设计；尚不清楚所学技能能否泛化到新乐曲。我们旨在探究这一问题。在本研究中，我们提出交互式彩虹乐谱（Interactive Rainbow Score），一种用于提升视奏能力的交互式视觉系统，视奏是指将乐谱视觉表征读取并映射为演奏动作的一般音乐技能。交互式彩虹乐谱的核心设计是将音高（及相应动作）与彩色记谱相关联，并通过实时交互进一步强化这种关联。定量结果表明，交互特性平均使学习效率提升 31.1%。进一步分析表明，在学习初期施加交互至关重要。
引用
@article{arxiv.2004.13908,
title = {Interactive Rainbow Score: A Visual-centered Multimodal Flute Tutoring System},
author = {Daniel Chin and Yian Zhang and Tianyu Zhang and Jake Zhao and Gus G. Xia},
journal= {arXiv preprint arXiv:2004.13908},
year = {2020}
}
备注
NIME 2020 poster presentation. 6 pages