通过稳定化对抗训练提升自监督单目深度估计的域泛化能力

学习具有良好泛化能力的自监督单目深度估计（MDE）模型仍然具有显著挑战性。尽管对抗增强在监督学习泛化中取得了成功，但将其简单地引入自监督 MDE 模型可能导致过度正则化，造成严重的性能退化。本文进行了定性分析并阐明了主要原因：(i) 类似 UNet 的深度网络固有的敏感性，以及 (ii) 过度正则化引起的双重优化冲突。为解决这些问题，我们提出了一种通用的对抗训练框架——稳定化冲突优化对抗训练（SCAT），将对抗数据增强融入自监督 MDE 方法中，在稳定性与泛化之间取得平衡。具体而言，我们设计了一种有效的缩放深度网络，通过调节长跳跃连接的系数来有效稳定训练过程。然后，我们提出了一种冲突梯度手术策略，逐步融入对抗梯度并优化模型朝向无冲突方向。在五个基准数据集上的大量实验表明，SCAT 能够取得最先进的性能，并显著提升现有自监督 MDE 方法的泛化能力。