混合语言文本的LLM理解：构建代码切换评估基准
计算与语言
2025-06-18 v1
摘要
代码切换（CSW）指在单个话语中在两种或多种语言之间交替的行为。这种现象在多语言社区中广泛存在，日益在在线内容中普遍存在，用户在日常交流中自然地混合语言。结果，大型语言模型（LLM）因其在内容处理和生成中的广泛应用，频繁接触代码切换输入。鉴于其广泛应用，理解 LLM 如何处理和推理这种混合语言文本至关重要。本文通过生成 CSW 变体来系统评估 LLM 在代码切换下的理解能力，这些变体来源于既有的推理和理解基准。尽管在外来 token 干扰英文文本时 degradation 依然存在——即使在语言约束下——将英文嵌入其他语言往往能改善理解。尽管提示词（prompting）效果不一，微调仍为缓解 degradation 提供了更稳定的路径。
引用
@article{arxiv.2506.14012,
title = {Lost in the Mix: Evaluating LLM Understanding of Code-Switched Text},
author = {Amr Mohamed and Yang Zhang and Michalis Vazirgiannis and Guokan Shang},
journal= {arXiv preprint arXiv:2506.14012},
year = {2025}
}