巴赫涂鸦：基于大规模机器学习的易上手音乐创作
声音
2019-07-17 v1 人机交互
机器学习
音频与语音处理
机器学习
摘要
为使音乐创作更易于上手，我们设计了首个由人工智能驱动的谷歌涂鸦——巴赫涂鸦（Bach Doodle），用户可创作自己的旋律，并由机器学习模型 Coconet（Huang 等，2017）以巴赫风格为其和声。为便于用户输入旋律，我们设计了一个简化的基于乐谱的界面。为支持大规模交互体验，我们用 TensorFlow.js（Smilkov 等，2019）重新实现了 Coconet 以在浏览器中运行，并通过采用空洞深度可分离卷积与融合操作将其运行时间从 40 秒缩短至 2 秒。我们还通过训练后权重量化将模型下载大小缩减至约 400KB。我们基于部分模型评估时间校准了一项速度测试，以判定和声请求应在本地执行还是发送至远程 TPU 服务器。在三天内，人们累计花费了相当于 350 年的时间把玩巴赫涂鸦，Coconet 收到了超过 5500 万次查询。用户可选择为其创作评分并贡献至一个公开数据集，我们随本文发布该数据集。我们希望社区发现该数据集对从民族音乐学研究、音乐教育到改进机器学习模型等应用有所助益。
引用
@article{arxiv.1907.06637,
title = {The Bach Doodle: Approachable music composition with machine learning at scale},
author = {Cheng-Zhi Anna Huang and Curtis Hawthorne and Adam Roberts and Monica Dinculescu and James Wexler and Leon Hong and Jacob Howcroft},
journal= {arXiv preprint arXiv:1907.06637},
year = {2019}
}
备注
Proceedings of the 18th International Society for Music Information Retrieval Conference, ISMIR 2019