面向非语言情感文本转语音的自然情感系统——基于细粒度非语言表达控制
音频与语音处理
2026-05-26 v1
摘要
当前情感文本转语音（TTS）模型虽在控制 verbal prosody 上取得了成功，却往往忽视非语言 vocalization（NV），而NV是实现真实人类情感的关键。虽然近期涌现出一些非语言数据集，但往往缺乏高质量、细粒度的标注，限制了模型精确控制NV生成的能力。为此，我们提出一种针对细粒度非语言表达合成的新方法。我们重新处理EARS语料库中的女性NV语音，构建新的标注方案以编码NV类型、频率和持续时间，并构建情感TTS基准以展示其有效性。我们的评估表明，NV方法虽在感知自然性上略有牺牲，却显著提升了表达性（eMOS 4.20）和情感识别准确率（78.8%）。情感专项分析进一步揭示，NV线索在高唤醒情感中尤为有效，如快乐（82.5%）和恐惧（82.7%），而对悲伤情感的传递几乎完美（98.3%）。
引用
@article{arxiv.2605.25504,
title = {Toward Natural Emotional Text-To-Speech System with Fine-Grained Non-Verbal Expression Control},
author = {Wangzixi Zhou and Bagus Tris Atmaja and Sakriani Sakti},
journal= {arXiv preprint arXiv:2605.25504},
year = {2026}
}
备注
2025 28th Conference of the Oriental COCOSDA International Committee for the Co-ordination and Standardisation of Speech Databases and Assessment Techniques (O-COCOSDA)