看见并看透玻璃：用于多层深度估计的真实与合成数据
计算机视觉与模式识别
2025-08-18 v2
摘要
透明物体在日常生活中很常见，理解其多层深度信息——同时感知透明表面及其后方物体——对于与透明材料交互的现实世界应用至关重要。本文引入了 LayeredDepth，这是首个包含多层深度标注的数据集，包括一个真实世界基准和一个合成数据生成器，以支持多层深度估计任务。我们的真实世界基准包含来自不同场景的 1,500 张图像，在其上评估最先进的深度估计方法表明，这些方法在处理透明物体时存在困难。合成数据生成器是完全程序化的，能够为该任务提供具有无限多样物体和场景组合的训练数据。使用该生成器，我们创建了一个包含 15,300 张图像的合成数据集。仅在该合成数据集上训练的基线模型产生了良好的跨域多层深度估计。在其上微调最先进的单层深度模型显著提高了其在透明物体上的性能，在我们基准上的四元组准确率从 55.14% 提升至 75.20%。所有图像和验证标注均根据 CC0 许可在 https://layereddepth.cs.princeton.edu 提供。
引用
@article{arxiv.2503.11633,
title = {Seeing and Seeing Through the Glass: Real and Synthetic Data for Multi-Layer Depth Estimation},
author = {Hongyu Wen and Yiming Zuo and Venkat Subramanian and Patrick Chen and Jia Deng},
journal= {arXiv preprint arXiv:2503.11633},
year = {2025}
}