Perceiver-Prompt：基于 P-Tuning 的中文语音错说人声适配
音频与语音处理
2024-06-17 v1 人工智能
声音
摘要
语音错说识别对改善患有例如 言语运动性障碍 (dysarthria) 的个体生活质量具有深远意义。言语运动性障碍语音识别面临数据有限、言语运动性障碳语音与正常语音之间的巨大差异以及因障碍导致的显著说话人变异等挑战。为此，本文引入 Perceiver-Prompt 方法，对 Whisper 大规模模型进行说话人适配。我们首先使用 LoRA 对 Whisper 进行微调，然后集成可生成固定长度说话人提示的可训练 Perceiver，以提高对中文言语运动性障碳语音的识别能力。实验结果表明，针对中文言语运动性障碳语音数据集，Perceiver-Prompt 在识别性能上 consistently 获得改善。相较于微调的 Whisper，本方法实现了最高可达 13.04% 的字错率 (CER) 降低。
引用
@article{arxiv.2406.09873,
title = {Perceiver-Prompt: Flexible Speaker Adaptation in Whisper for Chinese Disordered Speech Recognition},
author = {Yicong Jiang and Tianzi Wang and Xurong Xie and Juan Liu and Wei Sun and Nan Yan and Hui Chen and Lan Wang and Xunying Liu and Feng Tian},
journal= {arXiv preprint arXiv:2406.09873},
year = {2024}
}
备注
Accepted by interspeech 2024