InstrumentGen：从文本生成基于采样的乐器
音频与语音处理
2023-11-09 v1 机器学习
声音
摘要
我们引入文本到乐器任务，旨在基于文本提示生成基于采样的乐器。相应地，我们提出 InstrumentGen，一个将文本提示生成音频框架扩展为以乐器族、源类型、音高（跨 88 键频谱）、力度以及联合文本/音频嵌入为条件的模型。此外，我们提出一个可微损失函数以评估基于采样乐器的乐器内音色一致性。我们的结果建立了文本到乐器的基础基线，拓展了自动基于采样乐器生成领域的研究。
引用
@article{arxiv.2311.04339,
title = {InstrumentGen: Generating Sample-Based Musical Instruments From Text},
author = {Shahan Nercessian and Johannes Imort},
journal= {arXiv preprint arXiv:2311.04339},
year = {2023}
}