重新思考跨语言对齐：多语言 LLM 中传递与文化抹消的平衡
计算与语言
2025-10-31 v1 人工智能
摘要
跨语言对齐 (CLA) 旨在对齐多语言表征，使大型语言模型 (LLM) 能够无缝跨语言传递知识。虽然直观，但我们假设，这种表征收敛的追求可能无意中导致“文化抹消”，即功能性丧失，使得基于查询语言应产生差异化响应的文化嵌入式回应。本文通过引入整体评估框架——传递-局地化平面——来系统性地分析这一权衡，该框架量化了可取的知识传递与不可取的文化抹消。使用该框架，我们重新评估了最近的 CLA 方法，发现它们在所有六种语言中都一致地提高了事实传递，却在文化局地化方面付出了直接代价。我们对这些模型的内部表征进行分析，发现关键洞见：通用事实传递与文化特定知识在不同的模型层面上具有最佳可调性。基于这一发现，我们提出了手术驾驶 (Surgical Steering)，一种新的推理时方法，用于解耦这两个目标。通过对不同层应用有针对性的激活驾驶，我们的方法在两个竞争维度之间实现了更好的平衡，有效克服了当前对齐技术的局限性。
引用
@article{arxiv.2510.26024,
title = {Rethinking Cross-lingual Alignment: Balancing Transfer and Cultural Erasure in Multilingual LLMs},
author = {HyoJung Han and Sweta Agrawal and Eleftheria Briakou},
journal= {arXiv preprint arXiv:2510.26024},
year = {2025}
}