多语言零样本学习中的语言引导
计算与语言
2026-04-02 v2
摘要
如果大语言模型在通用语义空间中运行，那么在不同语言之间切换应该只需要简单的激活偏移。为此，我们以多语言零样本学习为案例研究，其中少量示例以英语提供，而测试查询则为目标语言。我们提出语言向量，计算方法是对特定层上并行源语言和目标语言示例之间的激活差的均值，并作为偏移量添加到推理时隐藏状态，以将模型的内部表示引导 toward 目标语言。我们在三个多语言任务上评估了该方法，涵盖19种语言和三个模型。我们的结果显示，在所有测试的任务和语言上，相对于基线 consistently 实现了改进，表明仅需简单的激活偏移即可在不更新参数的情况下将模型的语言模式重新定向。除了性能之外，向量还编码了可解释的语言结构，具有密切关联的语言形成紧密聚类，向量可跨任务传递，这表明语言身份在模型激活空间中占据可分离且结构化的方向。
引用
@article{arxiv.2602.02326,
title = {Language Steering for Multilingual In-Context Learning},
author = {Neeraja Kirtane and Kuan-Hao Huang},
journal= {arXiv preprint arXiv:2602.02326},
year = {2026}
}