神经模型数学推理能力分析
机器学习
2019-04-03 v1 机器学习
摘要
数学推理——人类智能中的一项核心能力——作为一个领域提出了一些独特的挑战：我们理解和解决数学问题主要并非基于经验和证据，而是基于推断、学习并利用规律、公理以及符号操作规则。在本文中，我们提出了一项用于评估（并最终设计）神经架构及类似系统的新挑战，开发了一套以自由形式文本输入/输出格式包含顺序问答的数学问题任务集。数学领域涵盖算术、代数、概率与微积分的结构化特性，使得我们能够构建训练和测试划分，以清晰揭示不同架构的能力与失效模式，并评估它们组合与关联知识及已学习过程的能力。在描述了数据生成过程及其未来潜在扩展之后，我们对两类最强大的序列到序列架构中的模型进行了全面分析，发现它们在解决数学问题和泛化知识的能力上存在显著差异。
引用
@article{arxiv.1904.01557,
title = {Analysing Mathematical Reasoning Abilities of Neural Models},
author = {David Saxton and Edward Grefenstette and Felix Hill and Pushmeet Kohli},
journal= {arXiv preprint arXiv:1904.01557},
year = {2019}
}