物尽其用：将深度尺度从有标签域迁移至无标签域
计算机视觉与模式识别
2024-04-16 v3 图像与视频处理
摘要
将深度估计器的绝对深度预测能力迁移到新域是一项具有显著现实应用价值的任务。当新域图像在无真实深度测量的情况下采集，且可能来自不同内参的传感器时，该任务尤为困难。为克服此类限制，近期一种零样本方案在大规模训练集上训练并编码了多种相机内参；其他方案则生成与目标任务数据内参匹配的深度标签合成数据，以实现域间深度尺度迁移。本工作提出一种替代方案，可利用任意现有的合成或真实数据集（其含少量带真实深度标签标注的图像）。具体而言，我们表明自监督深度估计器产生的按比例预测与跨域的绝对深度值呈线性相关，我们在本工作中用单一标量对该性质建模。此外，在训练前对齐两数据集的视场，可使两域具有共同的线性关系。我们利用该观测性质将绝对深度标签从有标签的源数据集迁移至缺乏测量的新目标数据集，从而实现目标域中的绝对深度预测。所提方法在 KITTI、DDAD 与 nuScenes 数据集上成功验证，同时使用其他现有真实或合成源数据集（具有不同视场、图像风格或结构内容），取得了与不采用目标真实深度的现有方法相当或更优的精度。
引用
@article{arxiv.2303.07662,
title = {Do More With What You Have: Transferring Depth-Scale from Labeled to Unlabeled Domains},
author = {Alexandra Dana and Nadav Carmel and Amit Shomer and Ofer Manela and Tomer Peleg},
journal= {arXiv preprint arXiv:2303.07662},
year = {2024}
}