MR-MT3：为缓解乐器泄漏的记忆保留多轨音乐转谱
声音
2024-03-18 v1 人工智能
机器学习
多媒体
音频与语音处理
摘要
本文介绍了对 MT3 模型的增强，该模型是当前基于标记的多乐器自动音乐转谱(AMT)模型的最先进(SOTA)性能。尽管达到了 SOTA 水平，但 MT3 存在乐器泄漏问题，即转谱在不同乐器之间碎片化。为缓解此问题，我们提出了 MR-MT3，包括记忆保留机制、先验标记抽样和标记随机化等增强。这些方法在 Slakh2100 数据集上进行评估，显示出 improved onset F1 分数和减少乐器泄漏。除了常规的多乐器转谱 F1 分数外，还引入了乐器泄漏比率和乐器检测 F1 分数等新指标，用于更全面地评估转谱质量。本研究还探讨了通过在单乐器单音数据集如 ComMU 和 NSynth 上评估 MT3，评估域过拟合问题。结果及源代码将共享，以促进旨在细化基于标记的多乐器 AMT 模型的未来工作。
引用
@article{arxiv.2403.10024,
title = {MR-MT3: Memory Retaining Multi-Track Music Transcription to Mitigate Instrument Leakage},
author = {Hao Hao Tan and Kin Wai Cheuk and Taemin Cho and Wei-Hsiang Liao and Yuki Mitsufuji},
journal= {arXiv preprint arXiv:2403.10024},
year = {2024}
}