测试时扩展能否改进世界基础模型？
计算机视觉与模式识别
2025-08-11 v2
摘要
世界基础模型通过从当前观测和输入预测未来状态来模拟物理世界，已成为物理智能中许多应用的核心，包括自动驾驶和机器人技术。然而，这些模型在预训练阶段需要大量计算资源，并在后训练阶段进一步受限于可用数据。因此，在测试时扩展计算量成为替代传统模型扩大或重训练的关键且实用的方案。在本工作中，我们引入了 SWIFT，一个专为 WFM 定制的测试时扩展框架。SWIFT 将我们可扩展的 WFM 评估工具包与进程级推理策略相结合，包括快速 tokenization、基于概率的 Top-K 剪枝和高效的 beam search。在 COSMOS 模型上的实证结果表明，测试时扩展甚至可以以计算最优的方式实现。我们的发现揭示了测试时扩展定律适用于 WFM，并且 SWIFT 提供了一条可扩展且有效的途径，可在不重训练或增大模型规模的情况下改进 WFM 推理。项目页面：https://scalingwfm.github.io/。
关键词
引用
@article{arxiv.2503.24320,
title = {Can Test-Time Scaling Improve World Foundation Model?},
author = {Wenyan Cong and Hanqing Zhu and Peihao Wang and Bangya Liu and Dejia Xu and Kevin Wang and David Z. Pan and Yan Wang and Zhiwen Fan and Zhangyang Wang},
journal= {arXiv preprint arXiv:2503.24320},
year = {2025}
}
备注
Accepted by COLM2025