迈向持续、在线、自监督深度估计

尽管被动传感器的深度提取随深度学习取得了显著改进，这些方法若暴露于训练期间未观察到的环境，可能无法获得正确深度。在线自适应（神经网络在部署时训练）结合自监督学习提供了一种便捷方案，因为网络可从其部署的场景中学习而无需外部监督。然而，在线自适应会导致神经网络遗忘过去。因此，过去的训练被浪费，且若网络观察到过往场景则无法提供良好结果。本工作处理实用的在线自适应，其中输入为在线且时间相关的，训练完全自监督。提出了无任务边界的正则化与基于回放的方法，以在适应在线数据的同时避免灾难性遗忘。已努力使所提方法适合实际使用。我们将方法应用于运动恢复结构与立体深度估计。我们在包含室外、室内和合成场景的多样化公开数据集上评估了方法。运动恢复结构与立体的定性和定量结果表明，与近期方法相比具有更优的遗忘以及自适应性能。此外，相较于在线自适应的微调，所提方法带来可忽略的开销，证明其在可塑性、稳定性和适用性方面是恰当选择。所提方法更贴合通用人工智能范式，因为神经网络在无监督下持续学习。源代码见 https://github.com/umarKarim/cou_sfm 与 https://github.com/umarKarim/cou_stereo。