通过表示工程释放LLM和LVLM的多语言推理能力
计算机视觉与模式识别
2025-12-01 v1
摘要
大型语言模型（LLM）和大型视觉语言模型（LVLM）显示出强大的推理能力，但其在英语上的性能显著优于低资源语言，引发了多语言应用中的公平性问题。现有方法要么依赖高成本的多语言训练，要么采用外部翻译工具的提示技术，两者都资源密集且对翻译质量敏感。为此，我们提出一种无需额外训练数据或工具的训练-free 推理时方法，通过表示工程（MRRE）提升多语言推理能力。MRRE在推理处理的特定层依次注入两个预计算向量：跨语言推理增强向量，这些向量将非英语推理表示引导至英语空间以释放多语言推理；目标语言输出锚定向量，这些向量恢复目标语言的分布以保持输入输出语言一致性。针对六个先进LLM和LVLM在四个推理基准测试上的全面实验表明，MRRE在低资源语言（泰语和斯瓦希里语）上平均提升5.48%，最高可达7.54%，同时在输入输出语言一致性方面提升3.78%。
引用
@article{arxiv.2511.23231,
title = {Unlocking Multilingual Reasoning Capability of LLMs and LVLMs through Representation Engineering},
author = {Qiming Li and Xiaocheng Feng and Yixuan Ma and Zekai Ye and Ruihan Chen and Xiachong Feng and Bing Qin},
journal= {arXiv preprint arXiv:2511.23231},
year = {2025}
}