通过基于秩感知的Transformer Beam GRPO发现隐藏代数结构
机器学习
2025-08-22 v1 人工智能
摘要
最近的研究扩展了Transformer在逻辑推理和符号计算方面的能力。本文聚焦于函数分解中的非线性潜在模式发现，考察其在多变量多项式分解这一具有广泛应用价值的代数任务中的能力。该问题已被证明为NP难题，要求模型具备精确性与洞察力。我们的贡献有三点：首先，我们开发了一个提供问题复杂度细粒度控制的合成数据生成管道；其次，我们通过监督学习训练Transformer模型，并在涉及规模行为和可泛化性的四个关键维度上进行评估；最后，我们提出了Beam Grouped Relative Policy Optimization（BGRPO），一种适用于困难代数问题的秩感知强化学习方法。使用BGRPO微调可提高准确率，同时将beam宽度缩减至五分之一，推理计算约降低75%。此外，我们的模型在多项式化简方面表现出竞争力，various情况下超过Mathematica。
关键词
引用
@article{arxiv.2508.15766,
title = {Discovering Hidden Algebraic Structures via Transformers with Rank-Aware Beam GRPO},
author = {Jaeha Lee and Gio Huh and Ning Su and Tony Yue YU},
journal= {arXiv preprint arXiv:2508.15766},
year = {2025}
}