面向自动规划的对称感知 Transformer 训练
人工智能
2025-08-12 v1 机器学习
摘要
虽然 Transformer 在许多场景中表现出色，但其在自动规划领域的应用仍有限。如 PlanGPT 等先前工作——一种领先的单层 Transformer——在从易到难的规划问题上难以外推。这源于问题的对称性：规划任务可以用任意变量名称表示，这些名称仅作为标识符，携带无实际意义。这导致等价表示呈指数级增长，使得纯 Transformer 难以高效学习。在本文中，我们提出了一种新颖的对比学习目标，使 Transformer 具备对称性感知能力，以弥补其缺乏归纳偏置的不足。结合该方法与架构改进，我们展示了 Transformer 可高效地用于计划生成或启发式预测。我们的实验结果表明，对称感知训练有效且高效地解决了 PlanGPT 的局限性。
关键词
引用
@article{arxiv.2508.07743,
title = {Symmetry-Aware Transformer Training for Automated Planning},
author = {Markus Fritzsche and Elliot Gestrin and Jendrik Seipp},
journal= {arXiv preprint arXiv:2508.07743},
year = {2025}
}