在高维 TTS 潜空间中探索情感原型
人机交互
2021-09-08 v1 机器学习
摘要
近期的 TTS（文本转语音）系统能够生成韵律多变且真实的语音。然而，这种韵律变化如何有助于说话人情感状态的感知尚不清楚。此处我们采用近期的心理学范式“Gibbs Sampling with People”来搜索训练好的 GST Tacotron 模型中的韵律潜空间，以探索情感韵律的原型。参与者在线招募，并以顺序自适应方式集体操控生成语音模型的潜空间，使得呈现给一组参与者的刺激由前一组的响应决定。我们证明：(1) 模型潜空间的特定区域可靠地与特定情感相关联；(2) 所得情感原型被独立的一组人类评分者良好识别；(3) 这些情感原型可有效迁移至新句子。这些实验共同展示了一种理解情感语音的新途径，通过提供探索生成模型潜空间与人类语义之间关系的工具。
引用
@article{arxiv.2105.01891,
title = {Exploring emotional prototypes in a high dimensional TTS latent space},
author = {Pol van Rijn and Silvan Mertes and Dominik Schiller and Peter M. C. Harrison and Pauline Larrouy-Maestri and Elisabeth André and Nori Jacoby},
journal= {arXiv preprint arXiv:2105.01891},
year = {2021}
}
备注
Submitted to INTERSPEECH'21