RELIC：具有长期记忆的交互式视频世界模型
计算机视觉与模式识别
2025-12-04 v1
摘要
一个真正具有交互性的世界模型需要三个关键要素：实时长期流式传输、一致的空间记忆以及精确的用户控制。然而，大多数现有方法仅单独解决其中一个要素，因为同时实现所有要素极具挑战性——例如，长期记忆机制常常会降低实时性能。本文提出了RELIC框架，统一解决这三个挑战。给定单个图像和文本描述，RELIC实现了对任意场景进行具有记忆感知和长期持续 exploration 的实时交互。基于最近的自回归视频扩散蒸馏技术，本模型表示长期记忆为高度压缩的历史潜在标记，通过相对动作和绝对相机姿态进行编码并存储于KV缓存中。这种紧凑、相机感知的记忆结构支持隐式3D一致的内容检索，并以最小的计算开销强制实现长期一致性。同时，我们微调一个双向教师视频模型以生成超出其原始5秒训练时限的序列，并通过一种新的高效自强制范式将其转化为因果学生生成器，实现对长时程教师以及长学生自 rollout 的完整上下文蒸馏。作为14B参数模型在精心构建的虚幻引擎渲染数据集上训练的RELIC，在实现16 FPS实时生成的同时，展示了更准确的动作跟随、更稳定的长期流式传输以及更稳健的空间记忆检索能力。这些能力使RELIC成为下一代交互式世界建模的强大基础。
引用
@article{arxiv.2512.04040,
title = {RELIC: Interactive Video World Model with Long-Horizon Memory},
author = {Yicong Hong and Yiqun Mei and Chongjian Ge and Yiran Xu and Yang Zhou and Sai Bi and Yannick Hold-Geoffroy and Mike Roberts and Matthew Fisher and Eli Shechtman and Kalyan Sunkavalli and Feng Liu and Zhengqi Li and Hao Tan},
journal= {arXiv preprint arXiv:2512.04040},
year = {2025}
}
备注
22 pages