用于高效视觉世界模型规划的稀疏想象
机器人学
2026-02-27 v2 人工智能
计算机视觉与模式识别
摘要
基于世界模型的规划通过使代理能够模拟未来状态并做出明智的选择，显著改善了复杂环境中的决策。这种计算负担在资源严重受限的机器人技术中尤为突出。为了解决这一限制，我们提出了一种用于高效视觉世界模型规划的稀疏想象，它通过减少前向预测期间处理的 token 数量来提高计算效率。我们的方法利用了基于 Transformer 的视觉世界模型，该模型采用随机分组注意力策略进行稀疏训练，允许模型根据计算资源灵活调整处理的 token 数量。通过在潜在 rollout 期间启用稀疏想象，我们的方法在保持高控制保真度的同时显著加速了规划。实验结果表明，稀疏想象在大幅提高推理效率的同时保留了任务性能。这种用于视觉规划的通用技术适用于从简单的测试时轨迹优化到具有最新 VLA 的复杂现实世界任务，使得世界模型能够在实时场景中部署。
引用
@article{arxiv.2506.01392,
title = {Sparse Imagination for Efficient Visual World Model Planning},
author = {Junha Chun and Youngjoon Jeong and Taesup Kim},
journal= {arXiv preprint arXiv:2506.01392},
year = {2026}
}
备注
Accepted to ICLR 2026; Project Page: https://nikriz1.github.io/sparse_imagination/