从无声信号到自然语言：双阶段 Transformer-LLM 方法
计算与语言
2025-09-08 v1 人工智能
摘要
无声语音界面 (SSIs) 因其能够从非声学信号生成可理解语音而受到关注。尽管在推进语音生成流水线方面取得了重大进展，但针对合成语音的识别及下游处理的工作仍然有限，且合成语音通常受到语音歧义和噪声的困扰。为了克服这些挑战，我们提出了一种增强的自动语音识别框架，该框架将基于 Transformer 的声学模型与大型语言模型 (LLM) 相结合以进行后处理。Transformer 捕获完整的话语上下文，而 LLM 确保语言一致性。实验结果表明，相对于 36% 的基线，词错率 (WER) 实现了 16% 的相对降低和 6% 的绝对降低，这证明无声语音界面的可懂度得到了显著改善。
关键词
引用
@article{arxiv.2509.04507,
title = {From Silent Signals to Natural Language: A Dual-Stage Transformer-LLM Approach},
author = {Nithyashree Sivasubramaniam},
journal= {arXiv preprint arXiv:2509.04507},
year = {2025}
}