StateLinFormer：通过有状态训练提升导航中长期记忆
机器学习
2026-03-26 v1 人工智能
摘要
有效的导航智能依赖于长期记忆，以支持即时泛化和持续适应。然而，现有的做法面临困境：模块化系统依赖显式映射但缺乏灵活性，而基于Transformer的端到端模型则受限于固定上下文窗口，限制了跨延长互动的持久记忆。我们提出StateLinFormer，这是一种线性注意力导航模型，采用有状态记忆机制进行训练，通过保持连续训练段之间的递归记忆状态而非在每个batch边界重新初始化来实现。这种训练范式有效地近似学习在无限长度序列上的学习，使模型能够实现长期记忆保持。实验在MAZE和ProcTHOR环境中表明，StateLinFormer显著优于无状态线性注意力对手和具有固定上下文窗口的标准Transformer基线。值得注意的是，随着互动长度的增加，持久的有状态训练显著提升了上下文依赖的适应能力，表明该模型在导航任务中的In-Context Learning能力得到了增强。
关键词
引用
@article{arxiv.2603.23571,
title = {StateLinFormer: Stateful Training Enhancing Long-term Memory in Navigation},
author = {Zhiyuan Chen and Yuxuan Zhong and Fan Wang and Bo Yu and Pengtao Shao and Shaoshan Liu and Ning Ding},
journal= {arXiv preprint arXiv:2603.23571},
year = {2026}
}
备注
9 pages, 4 figures