离散标记显示跨语言语音可理解性优势：面向仅使用母语语音数据的方言鲁棒 ASR 的分析研究
声音
2025-05-23 v1 音频与语音处理
摘要
在本研究中，我们获得的见解有助于仅使用母语语音数据实现方言鲁棒的语音识别（ASR）。在非母语语音的人类感知中，存在一种称为“跨语言语音可理解性优势”（ISIB）的现象，即与说话人共享母语的非母语听者比即使是母语听者也更好地理解语音。基于离散标记从自监督学习（SSL）模型中提取的假设，代表人类语音感知的观点，我们对离散标记基 ASR 对非母语语音的鲁棒性进行了分析研究，研究不同用于标记化的语言，视为实现 ISIB 的技术实现。结果表明，ISIB 确实发生在离散标记基 ASR 中。由于我们的做法仅依赖母语语音数据来模拟人类感知的行为，预计可适用于数据稀缺的各种方言。
引用
@article{arxiv.2505.16182,
title = {Discrete Tokens Exhibit Interlanguage Speech Intelligibility Benefit: an Analytical Study Towards Accent-robust ASR Only with Native Speech Data},
author = {Kentaro Onda and Keisuke Imoto and Satoru Fukayama and Daisuke Saito and Nobuaki Minematsu},
journal= {arXiv preprint arXiv:2505.16182},
year = {2025}
}
备注
Accepted by Interspeech2025