探索函数向量的语言不可知性：以机器翻译为例的案例研究
计算与语言
2026-04-22 v1
摘要
函数向量是从上下文学习期间模型激活中提取的任务向量表示。尽管先前工作表明多语言模型表示可以是语言不可知的，但函数向量是否同样如此仍不清楚。我们以机器翻译为案例研究，探讨FV是否表现出语言不可知性。在三个仅解码器多语言LLM上，我们发现从单一英语目标方向提取的翻译FV可以迁移到其他目标语言，在多种未见语言中持续提高正确翻译词元的排名。消融结果表明，移除FV会降低跨语言的翻译质量，而对无关任务的影响有限。我们进一步表明，基础模型的FV可迁移至指令微调变体，并且能从词级翻译部分泛化到句级翻译。
引用
@article{arxiv.2604.19678,
title = {Exploring Language-Agnosticity in Function Vectors: A Case Study in Machine Translation},
author = {Nurkhan Laiyk and Gerard I. Gállego and Javier Ferrando and Fajri Koto},
journal= {arXiv preprint arXiv:2604.19678},
year = {2026}
}