通过半隐式跨语言链式思维推理提升语音 LLM 中的非核心语言指令跟随能力
声音
2025-04-30 v1 音频与语音处理
摘要
大型语言模型已扩展到语音领域，导致语音大型语言模型（SLLMs）的发展。虽然现有 SLLMs 在核心语言（如英语）方面表现出色，但在非核心语言方面常常表现不佳，这是由于配对语音-文本数据稀缺以及多语言语义推理能力有限所致。为此，我们提出一种半隐式跨语言语音链式思维（XS-CoT）框架，将语音转文本翻译集成到 SLLM 的推理过程中。XS-CoT 生成四类标记：核心语言和非核心语言中的指令和响应标记，实现推理能力的跨语言迁移。为缓解生成目标非核心响应标记时的推理延迟，我们将半隐式 CoT 方案集成到 XS-CoT中，该方案在训练期间逐渐压缩前三类中间推理标记，同时保留全局推理逻辑。通过利用核心语言的强大推理能力，XS-CoT 在两个代表性 SLLM（Qwen2-Audio 和 SALMONN）上的非核心语言响应能力提升了最高可达 45%。此外，半隐式 XS-CoT 在稍微下降一点 GPT-4 分数的情况下，将标记延迟降低了 50% 以上。重要的是，XS-CoT 只需少量高质量的非核心语言训练数据，即可通过利用核心语言的推理能力来提升非核心语言表现。为支持训练，我们还开发了一个数据管道，并开源了日语、德语和法语的语音指令跟随数据集。
引用
@article{arxiv.2504.20835,
title = {Enhancing Non-Core Language Instruction-Following in Speech LLMs via Semi-Implicit Cross-Lingual CoT Reasoning},
author = {Hongfei Xue and Yufeng Tang and Hexin Liu and Jun Zhang and Xuelong Geng and Lei Xie},
journal= {arXiv preprint arXiv:2504.20835},
year = {2025}
}
备注
10 pages, 6 figures, Submitted to ACM MM 2025