作为非典型语音与情感说话风格可解释原语的音质维度
声音
2025-05-29 v1 机器学习
音频与语音处理
摘要
感知音质维度描述了非典型语音及其他语音调制的关键特征。在此，我们开发并评估了针对七个语音和言语维度（清晰度、辅音不精准、粗糙声、自然度、单一响度、单一音高和气息声）的音质模型。探针在公开的 Speech Accessibility (SAP) 项目数据集上进行了训练，该数据集包含来自 434 名说话人的 11,184 个样本，使用冻结的预训练模型嵌入作为特征。我们发现，我们的探针在 SAP 数据集的各种语音诱发类别中均具有强劲的性能和出色的泛化能力。我们进一步在额外数据集上验证了零样本性能，涵盖未见过的语言和任务：意大利语非典型语音、英语非典型语音以及情感语音。强劲的零样本性能以及在一系列评估中结果的可解释性，表明了将音质维度应用于与说话风格相关任务的效用。
引用
@article{arxiv.2505.21809,
title = {Voice Quality Dimensions as Interpretable Primitives for Speaking Style for Atypical Speech and Affect},
author = {Jaya Narain and Vasudha Kowtha and Colin Lea and Lauren Tooley and Dianna Yee and Vikramjit Mitra and Zifang Huang and Miquel Espi Marques and Jon Huang and Carlos Avendano and Shirley Ren},
journal= {arXiv preprint arXiv:2505.21809},
year = {2025}
}
备注
accepted for Interspeech 2025