基于深度先验组装的零样本单图场景重建
计算机视觉与模式识别
2024-10-22 v1
摘要
大型语言和视觉模型正在推动视觉计算的革命。通过大幅度增加数据和模型参数的规模，大型模型学习到的深度先验在各种任务中展现出卓越的性能。本文提出了一种新框架——深度先验组装（deep prior assembly），用于以零样本方式从单张图像重建场景。我们展示，这一具有挑战性的任务无需额外知识，仅需对一个子任务中的深度先验进行简单泛化即可实现。为此，我们引入了与姿态、尺度和遮挡解析相关的新方法，这些方法是使深度先验能够稳健工作的关键。深度先验组装无需该任务上的任何3D或2D数据驱动训练，能够在开放世界场景中优异地泛化先验。我们在多个数据集上进行评估，并报告与最新方法的分析、数值和视觉比较，以展示我们的优势。项目页面: https://junshengzhou.github.io/DeepPriorAssembly。
引用
@article{arxiv.2410.15971,
title = {Zero-Shot Scene Reconstruction from Single Images with Deep Prior Assembly},
author = {Junsheng Zhou and Yu-Shen Liu and Zhizhong Han},
journal= {arXiv preprint arXiv:2410.15971},
year = {2024}
}
备注
To appear at NeurIPS 2024. Project page: https://junshengzhou.github.io/DeepPriorAssembly