NuiWorld: 探索端到端可控世界生成的可扩展框架
计算机视觉与模式识别
2026-01-28 v1
摘要
世界生成是视频游戏、仿真和机器人等应用的一项基本能力。然而，现有方法面临三个主要障碍：可控性、可扩展性和效率。端到端的场景生成模型受到数据稀缺的限制。而面向对象的生成方法依赖于固定分辨率的表示，会降低大场景的保真度。免训练方法虽然灵活，但在推理时通常速度慢且计算成本高。我们提出了NuiWorld，一个试图解决这些挑战的框架。为了克服数据稀缺，我们提出了一种生成式自举策略，从少量输入图像开始。利用最新的3D重建和可扩展场景生成技术，我们合成不同大小和布局的场景，产生足够的数据来训练端到端模型。此外，我们的框架通过伪草图标签实现可控性，并展示了对未见草图的一定泛化能力。我们的方法将场景表示为可变场景块的集合，这些场景块被压缩成扁平化的向量集表示。这显著减少了大型场景的令牌长度，在场景大小上实现一致的几何保真度，同时提高了训练和推理效率。
引用
@article{arxiv.2601.19048,
title = {NuiWorld: Exploring a Scalable Framework for End-to-End Controllable World Generation},
author = {Han-Hung Lee and Cheng-Yu Yang and Yu-Lun Liu and Angel X. Chang},
journal= {arXiv preprint arXiv:2601.19048},
year = {2026}
}