鼓声转人声打击乐声的转换及其评估方法
声音
2025-09-23 v1 音频与语音处理
摘要
本文定义了鼓声转人声打击乐（drum-to-vocal percussion, VP）声转换的新任务。VP 通过人类语音模拟打击乐器，常用于当代合唱音乐中。其声学特性不同于语音和唱作（如非周期性、噪声性瞬态以及缺乏语言结构），使传统语音或唱作合成方法不适用。我们将 VP 合成建模为鼣声的音色迁移问题，利用其节奏和音色的对应性。为支持该建模，我们定义成功转换的三个要求：节奏保真性、音色一致性以及 VP 自然性。我们还提出相应的主观评估准则。我们采用神经音频合成器（real-time audio variational autoencoder, RAVE）实现两种基线转换方法，带与不带向量量化（VQ）两种配置。主观实验表明，两种方法均能生成可信的 VP 输出，其中带 VQ 的 RAVE 模型在转换一致性方面更优。
引用
@article{arxiv.2509.16862,
title = {Drum-to-Vocal Percussion Sound Conversion and Its Evaluation Methodology},
author = {Rinka Nobukawa and Makito Kitamura and Tomohiko Nakamura and Shinnosuke Takamichi and Hiroshi Saruwatari},
journal= {arXiv preprint arXiv:2509.16862},
year = {2025}
}
备注
6 pages, 5 figures, accepted for 2025 Asia Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)