跨语言激活引导：用于多语言语言模型的跨语言激活引导
计算与语言
2026-01-26 v1 人工智能
摘要
大型语言模型表现出强大的多语言能力，但在主导语言和非主导语言之间的性能差距仍然显著。先前的工作将这一差距归因于多语言表示中共享神经元与特定语言神经元之间的不平衡。我们提出了跨语言激活引导 (Cross-Lingual Activation Steering, CLAS)，这是一种无需训练的推理时干预方法，通过选择性调制神经元激活来实现。我们在分类和生成基准测试中评估了 CLAS，分别实现了平均提升 2.3%（准确率）和 3.4%（F1 分数），同时保持了高资源语言的性能。我们发现，有效的迁移通过功能分化而非严格对齐来实现；性能提升与语言聚类分离度增加相关。我们的结果表明，针对性的激活引导可以在不修改模型权重的情况下释放现有模型中潜在的多语言能力。
引用
@article{arxiv.2601.16390,
title = {Cross-Lingual Activation Steering for Multilingual Language Models},
author = {Rhitabrat Pokharel and Ameeta Agrawal and Tanay Nagar},
journal= {arXiv preprint arXiv:2601.16390},
year = {2026}
}
备注
Under review