将信息瓶颈原理应用于韵律表征学习
音频与语音处理
2021-08-09 v1 声音
摘要
本文描述了一种用于学习韵律表征的基于神经网络的语音生成模型的新颖设计。表征学习问题根据信息瓶颈（IB）原理进行公式化。在语音生成模型中引入改进的 VQ-VAE 量化层，以控制 IB 容量并调节所学表征的重构能力与解耦能力之间的平衡。所提模型能够从语音数据中学习词级韵律表征。在优化的 IB 容量下，所学表征不仅足以重构原始语音，还可用于将韵律迁移到不同的文本内容上。给出了客观与主观评估的广泛结果，以展示 IB 容量控制的效果、所学韵律表征在可控神经语音生成中的有效性与潜在用途。
引用
@article{arxiv.2108.02821,
title = {Applying the Information Bottleneck Principle to Prosodic Representation Learning},
author = {Guangyan Zhang and Ying Qin and Daxin Tan and Tan Lee},
journal= {arXiv preprint arXiv:2108.02821},
year = {2021}
}
备注
To be appeared in Interspeech 2021