激活引导：语音基础模型中的音/accent 适应方法
音频与语音处理
2026-03-09 v1
摘要
音/accent 变异仍是自动语音识别中的主要错误来源，但大多数适应方法仅依赖参数微调，却未能理解音/accent 信息编码的具体位置。我们将音/accent 变异视为隐藏表示中的可解释子空间，研究其能否直接在激活空间中被识别和控制。我们提取各层编码器激活，并估计捕捉音/accent 引发表示偏移的均值-偏移方向。通过将这些方向注入到单个层中并衡量其如何将加重音/accent 嵌入与标准嵌入对齐，我们推导出层级的音/accent 灵敏度轮廓，发现音/accent 信息集中在中间编码器层的狭窄带区域。基于这一结构，我们进一步引入无参数的音/accent 引导方法，在推理阶段无需更新模型权重即可修改表示。八种不同音/accent 的实验均显示出一致的词错误率降低。
关键词
引用
@article{arxiv.2603.05813,
title = {Activation Steering for Accent Adaptation in Speech Foundation Models},
author = {Jinuo Sun and Yang Xiao and Sung Kyun Chung and Qiuchi Hu and Gongping Huang and Eun-Jung Holden and Ting Dang},
journal= {arXiv preprint arXiv:2603.05813},
year = {2026}
}
备注
Submitted to Interspeech. 5 pages