单目深度估计中神经网络结构的泛化性研究
计算机视觉与模式识别
2023-12-13 v3 人工智能
摘要
单目深度估计已被广泛研究，近期在性能上报道了显著提升。然而，多数先前工作仅在少数基准数据集（如 KITTI 数据集）上评估，且无一提供对单目深度估计泛化性能的深入分析。本文深入探究各类骨干网络（如 CNN 与 Transformer 模型）在单目深度估计泛化方面的表现。首先，我们在分布内与分布外数据集上评估最先进模型，这些分布外数据在网络训练期间从未见过。随后，我们利用合成纹理偏移数据集考察基于 CNN/Transformer 模型中间层表示的内部特性。通过大量实验，我们观察到 Transformer 表现出强形状偏置，而 CNN 具有强纹理偏置。我们还发现，纹理偏置模型比形状偏置模型展现出更差的单目深度估计泛化性能。我们证明在多样环境下采集的真实驾驶数据集中也观察到类似现象。最后，我们利用现代策略中采用的多种骨干网络进行了密集消融研究。实验表明，CNN 的固有局部性与 Transformer 的自注意力分别导致了纹理偏置与形状偏置。
引用
@article{arxiv.2301.03169,
title = {A Study on the Generality of Neural Network Structures for Monocular Depth Estimation},
author = {Jinwoo Bae and Kyumin Hwang and Sunghoon Im},
journal= {arXiv preprint arXiv:2301.03169},
year = {2023}
}
备注
Accepted in TPAMI