用于不确定性感知深度估计的参数高效贝叶斯神经网络
计算机视觉与模式识别
2024-09-26 v1 机器学习
摘要
单摄影深度估计（MDE）等最先进的计算机视觉任务高度依赖大型现代Transformer架构。然而，这些方法在安全关键领域的应用需要可靠的预测性能和不确定性量化。虽然贝叶斯神经网络提供了一种概念上简单的实现方式，但其参数空间的高维度是其短板。参数高效微调（PEFT）方法，特别是低秩适应（LoRA），已成为一种流行的策略，通过在较低维子空间上进行参数推断来适应大规模模型以适应下游任务。本文研究了PEFT方法在大规模Transformer视觉模型中进行子空间贝叶斯推断的适合性。我们展示，确实将BitFit、DiffFit、LoRA以及一种新颖的LoRA启发PEFT方法（CoLoRA）与贝叶斯推断结合，能够在MDE中实现更稳健可靠的预测性能。
引用
@article{arxiv.2409.17085,
title = {Parameter-efficient Bayesian Neural Networks for Uncertainty-aware Depth Estimation},
author = {Richard D. Paul and Alessio Quercia and Vincent Fortuin and Katharina Nöh and Hanno Scharr},
journal= {arXiv preprint arXiv:2409.17085},
year = {2024}
}
备注
Presented at UnCV Workshop at ECCV'24