轻量级文本转语音中未见说话人与语言适应的适配器
音频与语音处理
2025-08-26 v1 计算与语言
机器学习
声音
摘要
本文我们探讨了通过适配器（adapters）进行跨语言文本转语音（TTS）合成，具体是在轻量级 TTS 系统的语境中。特别是，我们比较了未见说话人与语言适应的任务，以实现在目标语言中合成目标语音，而该目标语音在该语言中没有录音。客观评估结果表明，适配器在学习语言特定和说话人特定信息方面效果显著，使预训练模型能够学习未见的说话人身份或语言，同时避免对原始模型中说话人或语言信息的灾难性遗忘。此外，为了衡量生成语音在 accente 方面的本土化程度，我们提出并验证了一个受二语学习者（L2）误 pronunciation 检测技术启发的客观指标。该论文还提供了关于适配器放置、配置以及所用说话人数量影响的见解。
引用
@article{arxiv.2508.18006,
title = {Unseen Speaker and Language Adaptation for Lightweight Text-To-Speech with Adapters},
author = {Alessio Falai and Ziyao Zhang and Akos Gangoly},
journal= {arXiv preprint arXiv:2508.18006},
year = {2025}
}
备注
Accepted at IEEE MLSP 2025