变形器能够通过多步预测导航迷宫
机器学习
2024-12-19 v2
摘要
尽管变形器在语言建模方面取得了显著成功，但在需要提前规划多步行动的任务中仍表现不佳。这一限制在迷宫导航任务中尤为明显。标准的单步预测目标没有明确机制来预测多个步骤 ahead 或回溯路径。因此，本文研究是否通过显式预测多个步骤 ahead（以及回溯）可提高变形器的迷宫导航能力。我们从零开始训练参数匹配的变形器，在相同的设置下，使用标准单步预测和 MLM-U（即显式预测多个步骤 ahead 和回溯）两种目标函数导航大小类型和复杂度各异的迷宫。我们发现，MLM-U 在各种迷宫类型和复杂度下均显著优于标准单步预测。我们也发现 MLM-U 训练比单步预测训练在样本效率上高出 4 倍，在 GPU 训练小时数上收敛快 2 倍。最后，对于更复杂的迷宫，我们发现 MLM-U 在扩大变形器规模方面受益。令人惊讶的是，我们发现使用 MLM-U 训练的变形器在使用 A* 搜索轨迹进行额外监督的大型变形器预测性能更好。我们希望这些发现凸显了学习目标在推动变形器进行长期规划方面的潜力。代码可在 https://github.com/facebookresearch/maze_navigation_MLMU 找到。
引用
@article{arxiv.2412.05117,
title = {Transformers Can Navigate Mazes With Multi-Step Prediction},
author = {Niklas Nolte and Ouail Kitouni and Adina Williams and Mike Rabbat and Mark Ibrahim},
journal= {arXiv preprint arXiv:2412.05117},
year = {2024}
}
备注
20 pages, 15 figures