Omni$^2$: 统一的全景图像生成与编辑模型

$360^{\circ}$ 全景图像（ODIs）近期受到广泛关注，在虚拟现实（VR）和增强现实（AR）应用中得到广泛使用。然而，这些图像的获取成本高昂且需要专业设备，使得ODI合成日益重要。虽然常规2D图像生成与编辑方法取得了快速进展，但这些模型在生成或编辑ODIs时难以提供令人满意的效果 due to ODIs的独特格式及其广泛的360$^{\circ}$ 视场（FoV）。为填补这一差距，我们构建了\textbf{\textit{Any2Omni}}，即第一个综合性ODI生成-编辑数据集，包含60,000+条训练数据，涵盖多样输入条件及最高9种ODI生成与编辑任务。基于Any2Omni，我们提出了\textbf{\underline{Omni}}模型，用于\textbf{\underline{Omni}}-方向图像生成与编辑（\textbf{\textit{Omni$^2$}}}），该模型能够在多样输入条件下处理各种ODI生成与编辑任务。大量实验表明，所提出的Omni$^2$模型在ODI生成与编辑任务中表现优异。Any2Omni数据集和Omni$^2$模型均已公开 disponible at: https://github.com/IntMeGroup/Omni2。