真实场景中逼真幻影道路:离开 3D 幻象与物理几何的分离
计算机视觉与模式识别
2025-12-18 v1 机器人学
摘要
单目深度基础模型通过学习大规模语义先验实现了惊人的概括,但这会导致一个关键脆弱性:它们从几何平坦但感知模糊的输入中幻想出虚构的 3D 结构。我们称此故障为 3D 幻象。本文引入首个端到端框架来探测、量化和驾驭这一未被量化的安全风险。为探测,我们提出 3D-Mirage,即第一个包含精确平面区域标注和受限上下文裁剪的真实世界幻象基准(例如街头艺术)。为量化,我们提出基于拉普拉斯算子的评估框架,包含两个指标:用于衡量伪非平面性的偏差综合得分(DCS),用于衡量情境不稳定性的混淆综合得分(CCS)。为驾驭此故障,我们引入 Grounded Self-Distillation,即一种参数高效策略,通过精细施加平面约束于幻象 ROI 区域,同时使用冻结教师保留背景知识,从而避免灾难性遗忘。我们的工作提供了诊断和缓解此现象的必要工具,呼吁从像素级精度转向结构和情境鲁棒性的 MDE 评估。我们的代码和基准将公开,以促进这一激动人心的研究方向。
引用
@article{arxiv.2512.15423,
title = {Photorealistic Phantom Roads in Real Scenes: Disentangling 3D Hallucinations from Physical Geometry},
author = {Hoang Nguyen and Xiaohao Xu and Xiaonan Huang},
journal= {arXiv preprint arXiv:2512.15423},
year = {2025}
}