PromptVC：由自然语言提示驱动的潜空间灵活风格语音转换

风格语音转换旨在根据现实应用需求将源语音的风格转换为期望风格。然而，当前的风格语音转换方法依赖预定义标签或参考语音来控制转换过程，这导致风格多样性受限，或在风格表征的直观性与可解释性方面存在不足。在本研究中，我们提出 PromptVC，一种新颖的风格语音转换方法，其采用潜扩散模型来生成由自然语言提示驱动的风格向量。具体而言，风格向量在训练期间由风格编码器提取，随后独立训练潜扩散模型以从噪声中采样风格向量，该过程以自然语言提示为条件。为提升风格表现力，我们利用 HuBERT 提取离散 token 并将其替换为 K-Means 中心嵌入以作为语言内容，从而最小化残差风格信息。此外，我们对相同离散 token 去重，并采用可微时长预测器重新预测每个 token 的时长，从而使相同语言内容能适配不同风格的时长。主观与客观评估结果证明了我们所提系统的有效性。