Depth Anywhere：通过视角蒸馏与无标签数据增强提升360度单目深度估计
光学
2024-06-19 v1 斑图形成与孤子
摘要
准确估计360度图像的深度对于虚拟现实、自动导航和沉浸式媒体应用至关重要。现有的深度估计方法设计用于视角视图图像，由于不同的相机投影和畸变，难以应用于360度图像；而360度方法因缺乏标记数据对而表现不佳。我们提出了一种新型深度估计框架，有效利用无标签360度数据。我们的方法将最先进的视角深度估计模型作为教师模型，通过六面体投影技术生成伪标签，从而高效地为360度图像标记深度。这一方法利用日益增长的数据集。我们的方法包括两个主要阶段：离线无效区域的掩码生成以及在线的半监督联合训练模式。我们在Matterport3D和Stanford2D3D等基准数据集上测试了我们的方案，在深度估计准确性方面实现了显著提升，尤其是在零样本场景下。我们提出的训练管道可以增强任何360单目深度估计器，并在不同相机投影和数据类型之间 demonstrate 有效的知识迁移。详见我们的项目页面获取结果：https://albert100121.github.io/Depth-Anywhere/。
引用
@article{arxiv.2406.12848,
title = {Manipulation and control of temporal cavity solitons with trapping potential},
author = {Nicolas Englebert and Corentin Simon and Carlos Mas Arabí and François Leo and Simon-Pierre Gorza},
journal= {arXiv preprint arXiv:2406.12848},
year = {2024}
}