级联等价假说：语音 LLM 何时表现得像 ASR→LLM 流程？

Jayadev Billa

级联等价假说：语音 LLM 何时表现得像 ASR→LLM 流程？

计算与语言 2026-03-09 v2 人工智能音频与语音处理

作者: Jayadev Billa

摘要

语音 LLM 被广泛认为优于 ASR→LLM 级联流程，因为它们直接访问音频，而仅仅依赖于转录文本。本文提出一种评估方法论和对观察到语音 LLM 行为的机制解释。首先，我们引入匹配-主干测试(Matched-backbone testing)，将语音 LLM 的行为与底层 LLM 的推理能力分离。其次，我们使用 logit lens 和 LEACE 对语音 LLM 进行机制分析，显示文字转录从 LLM 隐藏状态中浮现，文本表示是因果必需的。我们还显示，在大多数部署用例中，当前的语音 LLM 是昂贵的级联，在噪声环境下，它们是更差的级联，在干净条件下的优势在 0dB 时可逆转至最高 7.6%。

关键词

语音 LLM ASR-LLM 级联匹配-主干测试 logit 镜头 LEACE 因果分析噪声鲁棒性转录浮现

引用

@article{arxiv.2602.17598,
  title  = {The Cascade Equivalence Hypothesis: When Do Speech LLMs Behave Like ASR$\rightarrow$LLM Pipelines?},
  author = {Jayadev Billa},
  journal= {arXiv preprint arXiv:2602.17598},
  year   = {2026}
}

备注

10 pages, 6 figures, 7 tables. submitted for review Interspeech 2026

级联等价假说：语音 LLM 何时表现得像 ASR→LLM 流程？

摘要

关键词

引用

备注

相关论文