基于变分自编码器的乐器声音合成双曲音色嵌入
音频与语音处理
2022-12-05 v1
摘要
本文提出一种基于变分自编码器(VAE)的乐器声音合成(MISS)方法,其具有诱导层次结构的音色潜空间。基于 VAE 的 MISS 方法将输入信号嵌入到低维潜表示中,该表示捕捉输入的特征。充分操控此表示可实现声音变形与音色替换。尽管大多数基于 VAE 的 MISS 方法寻求音高与音色的解耦表示,如何捕捉音色中的底层结构仍是一个开放问题。为解决该问题,我们关注乐器可依据其物理机制进行层次化分类这一事实。受此层次结构启发,我们通过引入双曲空间用于音色,提出一种基于 VAE 的 MISS 方法。由于其指数增长特性,双曲空间比欧氏空间更能高效表示树状数据。实验结果表明,与采用欧氏空间的方法相比,所提方法提供了更高效的音色潜表示。
引用
@article{arxiv.2209.13211,
title = {Hyperbolic Timbre Embedding for Musical Instrument Sound Synthesis Based on Variational Autoencoders},
author = {Futa Nakashima and Tomohiko Nakamura and Norihiro Takamune and Satoru Fukayama and Hiroshi Saruwatari},
journal= {arXiv preprint arXiv:2209.13211},
year = {2022}
}
备注
8 pages, 4 figures, to be published in Asia Pacific Signal and Information Processing Association Annual Summit and Conference 2022