通过偏振提示融合微调的鲁棒深度增强
计算机视觉与模式识别
2024-04-09 v1 人工智能
摘要
现有的深度传感器并不完美，在存在透明或反射物体等具有挑战性的场景中可能提供不准确的深度值。在本工作中，我们提出了一个通用框架，利用偏振成像来改善来自各种深度传感器的不准确深度测量。以往基于偏振的深度增强方法侧重于对单一传感器利用纯基于物理的公式。相比之下，我们的方法首先采用基于学习的策略，训练神经网络从偏振数据和来自不同传感器的传感器深度图估计出密集且完整的深度图。为了进一步提升性能，由于偏振数据集规模有限，难以从头训练强大的模型，我们提出了一种偏振提示融合微调 (Polarization Prompt Fusion Tuning, PPFT) 策略，以有效利用在大规模数据集上预训练的基于 RGB 的模型。我们在公开数据集上进行了大量实验，结果表明，与现有的深度增强基线方法相比，所提出的方法表现更优。代码和演示可在 https://lastbasket.github.io/PPFT/ 获取。
引用
@article{arxiv.2404.04318,
title = {Robust Depth Enhancement via Polarization Prompt Fusion Tuning},
author = {Kei Ikemura and Yiming Huang and Felix Heide and Zhaoxiang Zhang and Qifeng Chen and Chenyang Lei},
journal= {arXiv preprint arXiv:2404.04318},
year = {2024}
}
备注
CVPR 2024. Project page: https://lastbasket.github.io/PPFT/. The first two authors contribute equally