语音语言模型中的上下文学习：分析声学特征、语言结构和诱导头的作用
计算与语言
2026-04-09 v1 人工智能
摘要
上下文学习(ICL)在纯文本语言模型中已被广泛研究，但在语音领域仍 largely 未被探索。在此，我们研究语言和声学特征如何影响语音语言模型中的ICL。我们聚焦于文本转语音(TTS)任务，这使我们能从两个角度分析ICL：(1) 模型从示例中推断任务的准确程度（即生成正确的语音内容），以及(2) 模型在输出中模仿示例语音声学特征的程度。我们发现语速强烈影响ICL性能并在输出中被模仿，而音高范围和强度对性能影响较小且未被一致复现。最后，我们研究了诱导头在基于语音的ICL中的作用，并证明这些头具有因果作用：消融前k个诱导头完全移除了模型的ICL能力，这与基于文本的ICL发现一致。
引用
@article{arxiv.2604.06356,
title = {In-Context Learning in Speech Language Models: Analyzing the Role of Acoustic Features, Linguistic Structure, and Induction Heads},
author = {Charlotte Pouw and Hosein Mohebbi and Afra Alishahi and Willem Zuidema},
journal= {arXiv preprint arXiv:2604.06356},
year = {2026}
}
备注
Submitted to COLM 2026