理解 LLM 的跨语言上下文检索：它的表现如何以及来源于何处
计算机视觉与模式识别
2025-08-19 v2 人机交互
摘要
跨语言上下文检索（基于另一个语言的请求提取上下文信息）是跨语言对齐的一个基本方面，但大语言模型（LLM）的表现及其机制尚不清晰。本文使用跨语言机器阅读理解（xMRC）作为代表性场景，评估了超过 40 个 LLM 在 12 种语言上的跨语言上下文检索能力。我们的结果表明，后训练开放 LLM 显示出强大的跨语言上下文检索能力，相当于 GPT-4o 等封闭源 LLM，其估计的 oracle 性能在后训练后显著提升。我们的机制分析表明，跨语言上下文检索过程可分为两个主要阶段：问题编码和答案检索，分别在预训练和后训练中形成。相位稳定性与 xMRC 性能相关，xMRC 瓶颈位于第二个阶段的模型后层，后训练的效果在此处显而易见。我们的结果还表明，更大的规模预训练无法提高 xMRC 性能。相反，更大的 LLM 需要进一步的多语言后训练才能充分发挥其跨语言上下文检索潜力。
引用
@article{arxiv.2504.10905,
title = {InterAnimate: Taming Region-aware Diffusion Model for Realistic Human Interaction Animation},
author = {Yukang Lin and Yan Hong and Zunnan Xu and Xindi Li and Chao Xu and Chuanbiao Song and Ronghui Li and Haoxing Chen and Jun Lan and Huijia Zhu and Weiqiang Wang and Jianfu Zhang and Xiu Li},
journal= {arXiv preprint arXiv:2504.10905},
year = {2025}
}
备注
Accept to ACMMM 2025