世界模型量化的实证研究
机器学习
2026-02-03 v1 计算机视觉与模式识别
摘要
世界模型学习环境动力学的内部表征，使智能体能够在紧凑的潜在空间中模拟和推理未来状态，用于规划、预测和推理等任务。然而，运行世界模型需要巨大的计算成本和内存占用，使得模型量化对于高效部署至关重要。迄今为止，后训练量化(PTQ)对世界模型的影响尚未得到广泛考察。本文采用DINO-WM作为代表性案例，系统地研究了世界模型量化，通过评估不同的PTQ方法在重量-only和联合重量-激活设置下的表现。我们在各种视觉规划任务上进行大量实验，涵盖广泛的位宽、量化粒度以及最高可达50次的规划步数。我们的结果表明，世界模型的量化效应超越了标准的准确率和位宽权衡：组权重量化可稳定低位滚动，激活量化粒度导致收益不一致，量化灵敏度在编码器和预测器模块之间高度非对称。此外，激进的低位量化显著降低了规划目标与任务成功之间的对齐，导致无法通过额外优化来弥补的失败。这些发现揭示了基于世界模型的规划中量化引起的不同失效模式，为在严格的计算约束下部署量化世界模型提供了实用指导。代码将在 https://github.com/huawei-noah/noah-research/tree/master/QuantWM 提供。
引用
@article{arxiv.2602.02110,
title = {An Empirical Study of World Model Quantization},
author = {Zhongqian Fu and Tianyi Zhao and Kai Han and Hang Zhou and Xinghao Chen and Yunhe Wang},
journal= {arXiv preprint arXiv:2602.02110},
year = {2026}
}