VaSAB：用于语音与歌唱声音解耦的可变尺寸自适应信息瓶颈
音频与语音处理
2023-10-06 v1 声音
摘要
信息瓶颈自编码器是一种常用于声音转换的解耦工具。成功的解耦依赖于瓶颈尺寸的正确选择。先前的瓶颈自编码器通过潜空间维度或向量量化来创建瓶颈，且无法改变特定模型的瓶颈尺寸。由于瓶颈从解耦表征中移除信息，瓶颈尺寸的选择是解耦与合成质量之间的权衡。我们提出使用dropout构建信息瓶颈，这允许我们通过dropout率改变瓶颈，并研究根据上下文自适应调整瓶颈尺寸。我们通过实验探索将自适应瓶颈用于音高变换，并证明自适应瓶颈可改善语音和歌唱声音中F0参数的解耦，从而提升合成质量。利用可变瓶颈尺寸，我们能够对包括极高音在内的歌唱声音实现解耦，并创建一个在语音和歌唱声音上均有效且合成质量提升的通用声音模型。
引用
@article{arxiv.2310.03444,
title = {VaSAB: The variable size adaptive information bottleneck for disentanglement on speech and singing voice},
author = {Frederik Bous and Axel Roebel},
journal= {arXiv preprint arXiv:2310.03444},
year = {2023}
}
备注
Submitted to ICASSP 2024