通过局部场景扩散与概率提示生成 360{\deg}全景街景
计算机视觉与模式识别
2026-02-16 v3 机器人学
图像与视频处理
摘要
全景感知在自动驾驶领域具有重大潜力，使车辆能够在单次拍摄中获取全方位 360{\deg} 围绕视角。然而，自动驾驶是数据驱动的任务，获取完整的全景数据需要复杂的采样系统和标注流程，耗时且费力。尽管现有街景生成模型已展现出强大的数据重建能力，但仅能从固定数据分布中学习，无法利用拼接的孔腔图像作为监督信号。本文提出了首个全景生成方法 Percep360，用于自动驾驶场景。Percep360 能够基于拼接全景数据实现受控的连贯全景数据生成。Percep360 关注两个关键方面：连贯性和可控性。具体而言，为克服孔腔采样过程固有的信噪比损失，我们提出了局部场景扩散方法（LSDM）。LSDM 将全景生成重新表述为空间连续的扩散过程，弥合不同数据分布之间的差距。此外，为实现全景图像的可控生成，我们提出了概率提示方法（PPM）。PPM 动态选择最相关的控制线索，实现可控的全景图像生成。我们从三个维度评估生成图像的有效性：图像质量（无参考和有参考）、可控性以及其在实际鸟瞰图（BEV）分割中的实用性。值得注意的是，生成的数据在无参考质量指标上始终优于原始拼接图像，并提升了下游感知模型的性能。源代码将公开于 https://github.com/FeiT-FeiTeng/Percep360。
引用
@article{arxiv.2507.06971,
title = {Hallucinating 360{\deg}: Panoramic Street-View Generation via Local Scenes Diffusion and Probabilistic Prompting},
author = {Fei Teng and Kai Luo and Sheng Wu and Siyu Li and Pujun Guo and Jiale Wei and Jiaming Zhang and Kunyu Peng and Kailun Yang},
journal= {arXiv preprint arXiv:2507.06971},
year = {2026}
}
备注
Accepted to ICRA 2026. The source code will be publicly available at https://github.com/FeiT-FeiTeng/Percep360