Encode-Think-Decode：通过递归潜在思维扩展推理
其他定量生物学
2025-10-10 v1
摘要
大多数提升大语言模型（LLM）推理能力的努力要么通过扩大参数规模和训练数据规模，要么通过让模型生成复杂的思考链来扩展推理计算。以解释性研究表明，推理任务所需的关键计算集中在有限范围的层次中为动机，我们提出Encode-Think-Decode（ETD）方法，通过在中期训练阶段训练模型在推理相关的少数层次上迭代来增强其推理能力。ETD在保持原始架构、参数数量、超参数和训练数据组成不变的同时，放大了潜在推理。当在推理时对选定层次进行迭代，ETD模型在17个推理基准上实现显著提升，包括在OLMo-2 1B Base模型上对GSM8K实现28.4%的相对准确率提升，对MATH实现36%的提升。我们还探索了一种自适应深度策略，用于调整每个输入token的计算量。我们的结果表明，递归潜在推理为更强大的LLM推理提供了一条简单且有效的路径。
引用
@article{arxiv.2510.07357,
title = {Allelopathic effects of Rumex azoricus on lettuce: impacts on seed germination and early growth},
author = {Abdulrahman Ibrahim and Mariana Casari Parreira and Aram Akram Mohammed and Hawar Halshoy},
journal= {arXiv preprint arXiv:2510.07357},
year = {2025}
}