多语言大语言模型中的语言手术
计算与语言
2025-10-14 v3
摘要
大语言模型（LLMs）在任务和语言方面展现出显著的泛化能力，彻底改变了自然语言处理。本文研究了 LLMs 中自然出现的表示对齐现象，特别是在中间层，以及其对解耦语言特定信息与语言无关信息的启示。我们从经验上确认了这种对齐的存在，分析了其与显式设计的对齐模型的行为对比，并展示了其在不损害语义的情况下进行语言特定操作的潜力。基于这些发现，我们提出推理时语言控制（ITLC），一种利用潜在注入实现精确跨语言语言控制并缓解 LLMs 中语言混淆的新方法。我们的实验展示了 ITLC 强大的跨语言控制能力，同时保持了目标语言的语义完整性。此外，我们证明了其在缓解跨语言语言混淆问题方面的有效性，该问题即使在当前大规模 LLMs 中仍然存在，导致不一致的语言生成。本工作推进了我们对 LLMs 中表示对齐的理解，并提出了一种实用方案以增强其单语和跨语言性能。
引用
@article{arxiv.2506.12450,
title = {Language Surgery in Multilingual Large Language Models},
author = {Joanito Agili Lopo and Muhammad Ravi Shulthan Habibi and Tack Hwa Wong and Muhammad Ilham Ghozali and Fajri Koto and Genta Indra Winata and Peerat Limkonchotiwat and Alham Fikri Aji and Samuel Cahyawijaya},
journal= {arXiv preprint arXiv:2506.12450},
year = {2025}
}