一种使用循环神经网络的笔记本电脑合奏表演系统
人机交互
2020-12-07 v1 声音
音频与语音处理
摘要
将机器学习技术应用于音乐领域的流行趋势，使得原本可自由获取的预训练神经网络（NN）模型能够直接用于创意应用。本工作概述了这样一种应用的实现，其形式为一种为笔记本电脑合奏的现场即兴表演而设计的辅助工具。主要意图是利用现成的预训练 NN 模型作为基础，辅助个体表演者——无论是希望与更有经验的表演者互动的音乐新手，还是希望通过新形式的创意表达拓展音乐可能性的工具。该系统扩展了不同研究领域中发现的多种理念，包括音乐表达的新接口、生成音乐与团体表演，以产生一种通过网络浏览器接口提供的网络化表演方案。系统的最终实现为表演者提供了高低层次控制的混合，以实时影响本地运行的 NN 模型输出的音符序列形态，并允许表演者定义其与辅助生成模型的参与程度。进行了两场测试表演，系统被证明能够可行地支持四名表演者完成一首四分钟的乐曲，同时产生音乐上连贯且引人入胜的音乐。系统设计的迭代暴露了在现场音乐语境下使用 JavaScript 环境运行生成模型的技术约束，主要源于不可避免的处理开销。
引用
@article{arxiv.2012.02322,
title = {A Laptop Ensemble Performance System using Recurrent Neural Networks},
author = {Rohan Proctor and Charles Patrick Martin},
journal= {arXiv preprint arXiv:2012.02322},
year = {2020}
}