从视频中进行无监督单目深度的持续学习

空间场景理解，包括单目深度估计，是机器人与自动驾驶等多种应用中的重要问题。尽管无监督单目深度估计的进展已使模型有可能在多样化的众包视频上训练，这仍未被充分探索，因为多数方法采用标准训练协议，即在收集新数据后从零在所有数据上训练模型。相反，在顺序收集的数据上持续训练模型将显著降低计算与存储成本。然而，朴素的持续训练会导致灾难性遗忘，即模型在较新域上学习时于较旧域上的性能退化，凸显了模型稳定性与可塑性间的权衡。尽管已有若干技术用于解决图像分类中的该问题，深度估计的高维且时空相关输出使其成为一个独特挑战。据我们所知，目前尚无聚焦于深度估计中持续学习问题的框架或方法。因此，我们引入一个捕捉持续无监督深度估计（CUDE）挑战的框架，并定义评估模型性能所需的指标。我们提出一种基于回放的双重记忆方法 MonoDepthCL，其利用时空一致性进行深度估计中的持续学习，即便相机内参未知时亦可。