面向电子喉麻语的轻量化感知引导语音转换
声音
2026-01-23 v2 机器学习
摘要
电子喉麻(EL)语音以固定音高、受限韵律和机械噪声为特征，降低了自然度和可理解性。我们提出了对最先进的StreamVC框架进行的轻量化改造，以适应这一场景，通过移除升调和能量模块，结合自监督预训练和在平行的EL和健康(HE)语音数据上的监督微调，受感知和可理解性损失的指导。客观和主观评估不同损失配置的影响：最佳模型变体基于WavLM特征和人类反馈预测(+WavLM+HF)，大幅降低了EL输入的字符错误率(CER)，将自然度平均意见得分(nMOS)从1.1提升到3.3，在所有评估指标中均显著缩小了与HE基准语音的差距。这些发现表明，在电子喉麻语音康复中适配轻量化语音转换架构是可行的，但同时也确定了韵律生成和可理解性改进是主要的剩余瓶颈。
引用
@article{arxiv.2601.03892,
title = {Lightweight and perceptually-guided voice conversion for electro-laryngeal speech},
author = {Benedikt Mayrhofer and Franz Pernkopf and Philipp Aichinger and Martin Hagmüller},
journal= {arXiv preprint arXiv:2601.03892},
year = {2026}
}
备注
5 pages, 5 figures. Paper accepted for ICASSP 2026. Audio samples available at https://spsc-tugraz.github.io/lw-elvc-icassp26/