MetaRuleGPT: 基于简单规则训练的语言模型的递归数值推理
计算与语言
2024-12-19 v1
摘要
近期研究凸显了大语言模型在数学推理中的局限性，特别是其无法捕捉底层逻辑。受元学习启发，我们提出模型不仅应获取任务特定知识，还应获得可迁移的问题解决技能。我们引入MetaRuleGPT，一种新颖的基于Transformer的架构，通过学习和组合不同规则来执行精确数值计算和复杂逻辑操作。与传统训练集大量包含海量原始实例数据不同，MetaRuleGPT在包含数学推理的基本规则、复合规则和迭代规则的抽象数据集上进行预训练，数据量显著减少。大量实验结果表明，MetaRuleGPT能够模仿人类的规则遵循能力，分解复杂性，并迭代地为复杂数学问题推导出精确结果。这些发现证明了规则学习在增强语言模型数值推理能力方面的潜力。
引用
@article{arxiv.2412.13536,
title = {MetaRuleGPT: Recursive Numerical Reasoning of Language Models Trained with Simple Rules},
author = {Kejie Chen and Lin Wang and Qinghai Zhang and Renjun Xu},
journal= {arXiv preprint arXiv:2412.13536},
year = {2024}
}
备注
8 pages, 6 figures