基于电话纯度引导的语音失语离散 Token
声音
2025-01-09 v1 音频与语音处理
摘要
提取的离散 token 提供了高效且可适应域的语音特征。其应用于显示发音不准确且与正常语音大幅不匹配的无序语音领域仍未探索。为改善在无监督 K 均值或向量量化过程中所削弱的语音鉴别能力，本文提出一种新颖的基于电话纯度引导（PPG）的离散 token 用于失语语音识别。语音标签监督用于正规化标准 K 均值和基于 VAE-VQ 的离散 token 提取中使用的最大似然和重构误差成本。在 UASpeech 语料库上进行的实验表明，所提出的 PPG 离散 token 特征从 HuBERT 提取的特征在不同码本大小下，均显著优于使用非 PPG 基于 K 均值或 VAE-VQ token 的混合 TDNN 和端到端（E2E）Conformer 系统，词错误率（WER）降低最高可达 0.99% 和 1.77%（绝对）分别为 3.21% 和 4.82%（相对），在 16 位失语患者的 UASpeech 测试集上。通过组合使用不同 token 特征的系统，获得了最低的 23.25% WER。也实现了在电话纯度度量指标上的一致性改进。t-SNE 可视化进一步表明，在引入电话纯度引导后，K 均值/VAE-VQ 聚类之间的决策边界更锐利。
引用
@article{arxiv.2501.04379,
title = {Phone-purity Guided Discrete Tokens for Dysarthric Speech Recognition},
author = {Huimeng Wang and Xurong Xie and Mengzhe Geng and Shujie Hu and Haoning Xu and Youjun Chen and Zhaoqing Li and Jiajun Deng and Xunying Liu},
journal= {arXiv preprint arXiv:2501.04379},
year = {2025}
}
备注
ICASSP 2025