面向扩散世界模型的记忆专家组合
机器学习
2026-05-20 v1 人工智能
摘要
世界模型旨在预测与过去观测一致的合理未来，这一能力是强化学习中规划与决策的核心。然而，现有架构面临一个根本性的记忆权衡：Transformer 保留了局部细节，但受限于二次方注意力瓶颈；而循环和状态空间模型扩展效率更高，但以牺牲保真度为代价压缩历史信息。为克服这一权衡，我们建议将未来-过去一致性解耦出来，不依赖于任何单一架构，而是利用一组专门的专家。我们引入了一个基于扩散的框架，通过对比性专家乘积公式集成异构记忆模型。我们的方法实例化了三个互补角色：一个捕获精细局部动态的短期记忆专家，一个通过轻量级测试时微调在外部扩散权重中存储情景历史的长期记忆专家，以及一个强制几何与空间一致性的空间长期记忆专家。这种组合设计避免了模式崩溃，并能扩展至长上下文而不产生二次方开销。在模拟和真实世界基准测试中，我们的方法提升了时间一致性、过去观测的召回率和导航性能，为构建和运行记忆增强的扩散世界模型确立了新范式。
引用
@article{arxiv.2605.18813,
title = {Composition of Memory Experts for Diffusion World Models},
author = {Sebastian Stapf and Pablo Acuaviva Huertos and Aram Davtyan and Paolo Favaro},
journal= {arXiv preprint arXiv:2605.18813},
year = {2026}
}