World2Minecraft：基于占用率的仿真场景构建
计算机视觉与模式识别
2026-05-01 v1
摘要
具身智能需要高保真的仿真环境以支持感知和决策，但现有平台常受数据污染和灵活性受限的困扰。为缓解此问题，我们提出World2Minecraft将真实场景转换为基于3D语义占用率预测的结构化Minecraft环境。在重建的场景中，可以轻松执行诸如视觉语言导航(VLN)等下游任务。然而，我们注意到重建质量严重依赖于准确的占用率预测，而现有模型在数据稀缺和泛化性差方面受限。我们引入一个低成本、自动化且可扩展的数据获取管道，用于创建定制的占用率数据集，并通过156个丰富细节室内场景中100,165张图像的MinecraftOcc数据集展示了其有效性。大量实验表明，我们的数据集为现有数据集提供了关键补充，并对当前SOTA方法提出了显著挑战。这些发现促进了占用率预测的改进，并凸显了World2Minecraft在为个性化具身AI研究提供可定制和可编辑平台方面的价值。项目页面：https://world2minecraft.github.io/。
引用
@article{arxiv.2604.27578,
title = {World2Minecraft: Occupancy-Driven Simulated Scenes Construction},
author = {Lechao Zhang and Haoran Xu and Jingyu Gong and Xuhong Wang and Yuan Xie and Xin Tan},
journal= {arXiv preprint arXiv:2604.27578},
year = {2026}
}