不同可微代理的算术精确学习
机器学习
2025-12-01 v1 人工智能
摘要
我们探索了如何通过基于梯度的方法实现精确算法学习，介绍了一种能够在算术任务上实现强长度广泛性的可微框架。我们的方案以可微有限状态 transducer（DFST）为核心，这一图灵完备模型族通过避免先前架构的诸多缺陷，实现了恒定精度、恒定时间生成以及端到端对数并行可微训练。利用来自专家代理的策略轨迹观察，我们训练DFST执行二进制和小数加法和乘法。令人惊讶的是，在微小数据集上训练的模型能够无错误地推广到训练示例长度的数千倍的输入。这些结果表明，在结构化中间监督下训练可微代理可能为精确梯度学习算法技能的实现之路。代码地址为 \href{https://github.com/dngfra/differentiable-exact-algorithmic-learner.git}{https://github.com/dngfra/differentiable-exact-algorithmic-learner.git}。
关键词
引用
@article{arxiv.2511.22751,
title = {Exact Learning of Arithmetic with Differentiable Agents},
author = {Hristo Papazov and Francesco D'Angelo and Nicolas Flammarion},
journal= {arXiv preprint arXiv:2511.22751},
year = {2025}
}
备注
Accepted at the 39th Conference on Neural Information Processing Systems (NeurIPS 2025) Workshop: MATH-AI