迈向中文方言的全面语义语音嵌入
计算与语言
2026-01-13 v1
摘要
尽管拥有数亿使用者，但中文方言在语音和语言技术方面落后于普通话。大多数方言主要是口语，这使得方言到普通话的语音-LLMs比方言LLMs更实用。构建方言到普通话的语音-LLMs需要具有中文方言和普通话之间跨方言语义对齐的语音表征。在本文中，我们通过使用仅ASR数据训练语音编码器来实现这种跨方言语义对齐，正如在我们贡献的一个新的中文口语变体基准上的语音到语音检索所证明的那样。我们的语音编码器进一步展示了在中文方言上最先进的ASR性能。总之，我们的中文方言基准、语义对齐的语音表征和语音到语音检索评估为未来的中文方言语音-LLMs奠定了基础。我们在https://github.com/kalvinchang/yubao发布该基准。
引用
@article{arxiv.2601.07274,
title = {Towards Comprehensive Semantic Speech Embeddings for Chinese Dialects},
author = {Kalvin Chang and Yiwen Shao and Jiahong Li and Dong Yu},
journal= {arXiv preprint arXiv:2601.07274},
year = {2026}
}