MetaComp：面向在线深度补全的学习适应方法
计算机视觉与模式识别
2022-07-22 v1
摘要
依赖深度监督或自监督学习，已有基于成对单图像与稀疏深度数据的深度补全方法近年来取得了令人印象深刻的性能。然而，面对测试数据在线出现且与训练数据在 RGB 图像内容与深度稀疏性上均不同的新环境，训练好的模型可能遭遇严重的性能下降。为使训练模型在此类条件下表现良好，我们期望其能够持续且有效地适应新环境。为此，我们提出 MetaComp。它利用元学习技术于训练阶段模拟适应策略，并在测试时以自监督方式将模型适应至新环境。考虑到输入为多模态数据，由于两种模态数据在结构与形式上的显著差异，同时适应两模态的变化颇具挑战。因此，我们进一步提出将基础元学习训练中的适应过程解耦为两步：第一步关注深度稀疏性，第二步关注图像内容。测试期间，我们采取相同策略使模型在线适应新的多模态数据。实验结果与充分的消融研究证明，我们的 MetaComp 能有效适应新环境中的深度补全，并对不同模态的变化具有鲁棒性。
引用
@article{arxiv.2207.10623,
title = {MetaComp: Learning to Adapt for Online Depth Completion},
author = {Yang Chen and Shanshan Zhao and Wei Ji and Mingming Gong and Liping Xie},
journal= {arXiv preprint arXiv:2207.10623},
year = {2022}
}