Timbre-Trap：一种低资源乐器无关音乐转录框架
音频与语音处理
2024-01-25 v2 机器学习
声音
摘要
近年来，音乐转录研究主要集中于架构设计与乐器特定数据获取。由于多样化数据集的缺乏，进展常局限于钢琴转录等独奏乐器任务。若干工作已探索多乐器转录以提振模型在低资源任务上的表现，但这些方法面临同样的数据可用性问题。我们提出 Timbre-Trap，一种通过利用音高与音色间强可分离性来统一音乐转录与音频重建的新框架。我们训练单一自编码器同时估计音高显著性与重建复谱系数，并在解码阶段通过简单切换机制选择两种输出之一。以此方式，模型学习生成对应于无音色音频的系数，可解释为音高显著性。我们证明该框架取得了与最先进（SOTA）乐器无关转录方法相当的性能，同时仅需少量标注数据。
引用
@article{arxiv.2309.15717,
title = {Timbre-Trap: A Low-Resource Framework for Instrument-Agnostic Music Transcription},
author = {Frank Cwitkowitz and Kin Wai Cheuk and Woosung Choi and Marco A. Martínez-Ramírez and Keisuke Toyama and Wei-Hsiang Liao and Yuki Mitsufuji},
journal= {arXiv preprint arXiv:2309.15717},
year = {2024}
}
备注
Accepted to ICASSP 2024