ER-LoRA：基于有效秩引导的天气广泛深度估计适配方法
计算机视觉与模式识别
2025-09-09 v2 机器人学
摘要
单目深度估计在恶劣天气条件下（如雨雾雪晕夜）仍然具有高度挑战性，原因在于缺乏可靠的真实标注数据，以及难以从无标签的真实世界数据中进行学习。现有方法常依赖带有伪标签的合成恶劣数据，存在域间差异；或采用自监督学习方式，违反了恶劣场景下的光谱假设。在本工作中，我们提出通过对视觉基础模型（Vision Foundation Models, VFMs）进行参数高效微调（Parameter-Efficient Fine-Tuning, PEFT），仅需少量可见性正常数据即可实现天气广泛深度估计。虽然PEFT在语义任务（如分割）中展现出强性能，但在几何中心任务（如深度估计）中仍属探索阶段，尤其是在有效适应与预训练知识保持之间进行平衡方面存在挑战。为此，我们引入选择-调优-保持（Selecting-Tuning-Maintaining, STM）策略，基于两种有效秩（熵秩与稳定秩）对预训练VFm权重进行结构性分解。在调优阶段，我们根据熵秩和全调优权重，自适应选择合适的秩数及任务相关奇异方向作为初始化；在保持阶段，我们基于稳定秩强制 principal 方向正则化。该设计保证了灵活的任务适应，同时保留了预训练VFM的强大泛化能力。在四个覆盖多种天气条件的真实基准数据集上进行大量实验表明，STM不仅优于现有PEFT方法和完整微调，还超越了使用恶劣合成数据的模型，甚至优于深度基础模型。
引用
@article{arxiv.2509.00665,
title = {ER-LoRA: Effective-Rank Guided Adaptation for Weather-Generalized Depth Estimation},
author = {Weilong Yan and Xin Zhang and Robby T. Tan},
journal= {arXiv preprint arXiv:2509.00665},
year = {2025}
}