基于 Whisper 的越南语与英语跨语言音素识别
计算与语言
2025-08-28 v1 人工智能
摘要
当越南语和英语发音混合时，跨语言音素识别已成为准确自动语音识别（ASR）的一项重大挑战。与许多语言不同，越南语依靠声调变化来区分词义，而英语具有重音模式和非标准发音，这阻碍了两种语言之间的音素对齐。为了应对这一挑战，我们提出了一种新颖的双语语音识别方法，包含两个主要贡献：（1）构建了一个具有代表性的双语音素集，弥合了越南语和英语语音系统之间的差异；（2）设计了一个端到端系统，利用 PhoWhisper 预训练编码器获取深层高层表示以改善音素识别。我们的大量实验表明，所提出的方法不仅提高了越南语双语语音识别的准确率，而且为应对声调和重音音素识别的复杂性提供了一个稳健的框架。
引用
@article{arxiv.2508.19270,
title = {Whisper based Cross-Lingual Phoneme Recognition between Vietnamese and English},
author = {Nguyen Huu Nhat Minh and Tran Nguyen Anh and Truong Dinh Dung and Vo Van Nam and Le Pham Tuyen},
journal= {arXiv preprint arXiv:2508.19270},
year = {2025}
}