信以为见：利用生成模型进行未观测物体检测

图像中不可见但位于相机附近的物体能否被检测到？本研究引入了新颖的2D、2.5D和3D未观测物体检测任务，用于预测被遮挡或位于图像帧外的附近物体的位置。我们调整了几种最先进的预训练生成模型来解决此任务，包括2D和3D扩散模型以及视觉-语言模型，并表明它们可用于推断未直接观测到的物体的存在。为了对此任务进行基准测试，我们提出了一套捕捉不同性能方面的指标。我们在RealEstate10k和NYU Depth v2数据集的室内场景上的实证评估展示了结果，这些结果激励了将生成模型用于未观测物体检测任务。