大语言模型跨语言迁移的代码切换情境学习
计算与语言
2025-10-08 v1 人工智能
摘要
虽然大语言模型（LLMs）在多语言能力方面表现出强大的潜在潜能，但它们对英语的依赖作为潜在表示会造成翻译障碍，推理在内部隐式地依赖于向英语的翻译。当这一过程失败时，非英语语言的性能会急剧恶化，限制了基于LLM的应用的包容性。现有的跨语言情境学习（X-ICL）方法主要利用单语演示，往往难以缓解这一障碍，反而强化了它。本文引入代码切换情境学习（CSICL），这是一种简单而有效的提示策略，通过在演示和指令中逐渐从目标语言过渡到英语，以促进其在英语中的潜在推理。通过受控的代码切换显式地对推理过程进行脚手架，CSICL充当了一种隐式的语言桥梁，增强了跨语言对齐并减少了对翻译障碍的依赖。我们在4个LLM、6个数据集和10种语言上进行了广泛实验，涵盖知识密集型和推理导向领域。我们的结果表明，CSICL consistently outperform X-ICL baselines，在目标语言和未见语言中分别实现了3.1%p和1.9%p的提升。在资源匮乏的设置下，提升更为显著，分别在目标语言和未见语言中分别达到14.7%和5.3%。这些发现确立了代码切换作为克服推断期间翻译障碍的原则方法和稳健方法，使LLM向更具包容性和有效性的多语言系统迈进。
引用
@article{arxiv.2510.05678,
title = {Code-Switching In-Context Learning for Cross-Lingual Transfer of Large Language Models},
author = {Haneul Yoo and Jiho Jin and Kyunghyun Cho and Alice Oh},
journal= {arXiv preprint arXiv:2510.05678},
year = {2025}
}