OmniX：从统一全景生成与感知到图形就绪3D场景
计算机视觉与模式识别
2025-10-31 v1 图形学
机器学习
摘要
目前构成3D场景的两种主流方法是程序化生成和2D升级。其中，基于全景的2D升级方法日益成为有前景的技术，利用强大的2D生成先验制造出沉浸式、真实且多样化的3D环境。本文将这一技术推进至生成适用于物理基于渲染（PBR）、光照重构和仿真的图形就绪3D场景。我们的关键洞察是将2D生成模型用于全景几何、纹理和PBR材料的感知。与现有2D升级方法侧重外观生成、忽视内在属性感知不同的是，我们提出OmniX——一个通用且统一的框架。基于轻量且高效的跨模态适配器结构，OmniX可重用2D生成先验以适用于广泛的全景视觉任务，包括全景感知、生成和补全。此外，我们构建了一个大规模合成全景数据集，包含来自多样室内外场景的高质量多模态全景。大量实验表明，我们的模型在全景视觉感知和图形就绪3D场景生成方面均表现有效，为沉浸式且物理上真实的虚拟世界生成开辟了新的可能性。
引用
@article{arxiv.2510.26800,
title = {OmniX: From Unified Panoramic Generation and Perception to Graphics-Ready 3D Scenes},
author = {Yukun Huang and Jiwen Yu and Yanning Zhou and Jianan Wang and Xintao Wang and Pengfei Wan and Xihui Liu},
journal= {arXiv preprint arXiv:2510.26800},
year = {2025}
}
备注
Project page: https://yukun-huang.github.io/OmniX/