将价值迭代网络扩展至 5000 层以实现极端长期规划
机器学习
2025-07-08 v2 人工智能
摘要
价值迭代网络（VIN）是一种用于规划的端到端可微分神经网络架构。它通过在潜在马尔可夫决策过程（MDP）上运行可微分规划模块而表现出强大的对未知领域的泛化能力。然而，VIN 在处理需要数千次规划步骤的长期和大规模规划任务（例如导航 100x100 的迷宫）时存在挑战。我们观察到，这一缺陷源于两个因素：潜在 MDP 的表示容量以及规划模块的深度。我们通过为潜在 MDP 增添动态转移核，大幅提升了其表示容量；为缓解消失梯度问题，引入一种“自适应高速公路损失”，构建 skip 连接以改善梯度流。我们在 2D/3D 迷宫导航环境、连续控制以及真实世界的月球车导航任务中评估了该方法。我们发现，新的方法称为动态转移 VIN（DT-VIN），可扩展至 5000 层并解决上述任务的具有挑战性的版本。总体而言，我们认为 DT-VIN 是在复杂环境中执行长期大规模规划的 concrete 进步。
引用
@article{arxiv.2406.08404,
title = {Scaling Value Iteration Networks to 5000 Layers for Extreme Long-Term Planning},
author = {Yuhui Wang and Qingyuan Wu and Dylan R. Ashley and Francesco Faccio and Weida Li and Chao Huang and Jürgen Schmidhuber},
journal= {arXiv preprint arXiv:2406.08404},
year = {2025}
}
备注
ICML 2025