AdaMCoT: 重新思考通过自适应多语言链式思考的跨语言事实推理

大型语言模型 (LLMs) 通过在多样化语料库上预训练展现出惊人的多语言能力。尽管这些模型显示出强大的推理能力，但其性能在不同语言之间存在显著差异，这源于训练数据的不平衡分布。现有方法使用样本级翻译进行大规模多语言预训练和跨语言调优，面临可扩展性挑战，往往无法捕捉跨语言中细微的推理过程。在本文中，我们引入 AdaMCOT (自适应多语言链式思考)，一个通过在生成目标语言响应前动态路由中间"思考语言"中的思考过程，以增强多语言事实推理的框架。AdaMCOT 利用语言无关的核心，纳入基于奖励的自适应机制，用于选择最优推理路径，无需额外预训练。我们的全面评估表明，该方法在事实推理质量和跨语言一致性方面均实现了显著提升，尤其在低资源语言环境中表现出强劲的性能提升。对模型隐藏状态和语义空间的深入分析进一步阐明了该方法的底层机制。结果表明，自适应推理路径能够有效弥合高资源和低资源语言之间性能差距，同时保持文化和语言细微差别。