面向零样本泛化的情境世界模型中的动力学对齐潜在想象
机器学习
2026-01-19 v3 人工智能
摘要
现实世界的强化学习需要在不昂贵重新训练的情况下适应不可见环境条件。情境马尔可夫决策过程(cMDP)建模了这一挑战，但现有方法通常需要显式的情境变量(如摩擦系数、重力)，限制了其在情境是潜在或难以测量时使用。我们引入动力学对齐潜在想象(DALI)，一个集成在 Dreamer 架构中的框架，通过智能体-环境交互推断潜在情境表示。通过训练自监督编码器预测前向动力学，DALI 生成可用于条件化世界模型和策略的可操作表示，搭建感知与控制之间的桥梁。我们对该编码器是高效情境推断和稳健泛化的必需性进行了理论证明。DALI 的潜在空间实现了反事实一致性：扰动重力编码维度会以物理上可信的方式改变想象的 rollout。在具有挑战性的 cMDP 测试基准上，DALI 在情境不敏感的基线上实现了显著的性能提升，常常在外推任务中超越情境敏感的基线，实现对不可见情境变体的零样本泛化。
引用
@article{arxiv.2508.20294,
title = {Dynamics-Aligned Latent Imagination in Contextual World Models for Zero-Shot Generalization},
author = {Frank Röder and Jan Benad and Manfred Eppe and Pradeep Kr. Banerjee},
journal= {arXiv preprint arXiv:2508.20294},
year = {2026}
}
备注
36 pages, 6 figures, accepted to NeurIPS 2025