关于迷宫逻辑外推的循环神经网络与隐式神经网络
机器学习
2025-07-21 v2 机器学习
摘要
最近的研究表明，某些神经网络架构——特别是循环神经网络（RNNs）和隐式神经网络（INNs）——具备逻辑外推能力。当在简单任务实例上训练，这些网络（以下简称逻辑外推器）能够泛化到更复杂的实例。以往的研究假设，逻辑外推器是通过学习任务的可扩展、迭代算法来实现的，该算法收敛于解。我们更密切地检验了这一想法，聚焦于单个任务：迷宫寻路。通过沿多个轴（不仅限于迷宫大小）变化测试数据，我们表明此前工作中引入的模型以各种方式失败，部分如预期，另一些则出乎意料。仍不确定是否存在任何模型真正学习了算法。然而，我们提供证据表明，某种RNN大致学习了“填满死角”的形式。我们表明，对更多样化数据进行训练可解决某些失败模式，但反向并未提高逻辑外推。我们还分析了收敛行为，表明被显式训练以收敛于固定点的模型在外推时可能如此收敛，而那些未训练收敛的模型可能表现出更为复杂的极限行为，如极限循环，即使它们正确地解决了问题。我们的结果（i）表明逻辑外推并非免疫于目标误泛化问题，（ii）建议分析外推的动力学可为设计更好的逻辑外推器提供启发。
引用
@article{arxiv.2410.03020,
title = {On Logical Extrapolation for Mazes with Recurrent and Implicit Networks},
author = {Brandon Knutson and Amandin Chyba Rabeendran and Michael Ivanitskiy and Jordan Pettyjohn and Cecilia Diniz-Behn and Samy Wu Fung and Daniel McKenzie},
journal= {arXiv preprint arXiv:2410.03020},
year = {2025}
}