按需语言、核心知识:基于编码器-解码器翻译模型组合 LLM 实现可扩展多语言性
计算与语言
2026-04-17 v4
摘要
大语言模型(LLM)表现出强大的通用智能,但其多语言性能仍高度不平衡。尽管 LLM 在统一语义空间中编码了大量跨语言知识,但往往难以可靠地将其与低资源或未见语言接口。幸运的是,预训练编码器-解码器翻译模型已具备平衡的多语言能力,暗示可自然补充 LLM。本文提出 XBridge,一种组合编码器-LLM-解码器架构,将多语言理解与生成卸载至外部预训练翻译模型,同时保留 LLM 作为以英语为中心的核心进行通用知识处理。为解决跨模型表示错位问题,引入轻量级跨模型映射层和最优传输对齐目标,实现多语言生成的细粒度语义一致性。实验在 four 个 LLM 上进行,涵盖多语言理解、推理、摘要和生成,结果表明 XBridge 在低资源和以前未见语言上优于强大基线,且无需重新训练 LLM。
引用
@article{arxiv.2603.17512,
title = {Language on Demand, Knowledge at Core: Composing LLMs with Encoder-Decoder Translation Models for Extensible Multilinguality},
author = {Mengyu Bu and Yang Feng},
journal= {arXiv preprint arXiv:2603.17512},
year = {2026}
}
备注
ACL 2026 Main Conference. Code: https://github.com/ictnlp/XBridge | Models: https://huggingface.co/collections/ICTNLP/xbridge