用于正一致深度补全的监控式蒸馏
计算机视觉与模式识别
2022-10-26 v2 人工智能
机器学习
摘要
我们提出一种从单幅图像、其标定参数及关联稀疏点云推断稠密深度图的方法。为利用现有生成假设深度图的模型（教师模型），我们提出一种自适应知识蒸馏方法，产生正一致训练过程，使学生模型避免学习教师模型的错误模式。在缺乏用于模型选择与训练的 ground truth 的情况下，我们的方法称为监控式蒸馏（Monitored Distillation），允许学生模型通过选择性地学习能最佳最小化给定图像重建误差的预测来利用盲集成教师模型。监控式蒸馏生成蒸馏深度图及置信度图（或称“监控器”），用于表示特定教师模型的预测与观测图像的拟合程度。该监控器自适应地加权蒸馏深度，若所有教师模型均呈现高残差，则标准无监督图像重建损失接管作为监督信号。在室内场景（VOID）上，我们相对盲集成基线提升 17.53%，相对无监督方法提升 24.25%；在保持与最佳监督方法相当性能的同时，模型尺寸缩减 79%。在室外场景（KITTI）上，尽管未使用 ground truth，我们在基准测试中并列总体第五。代码见：https://github.com/alexklwong/mondi-python。
引用
@article{arxiv.2203.16034,
title = {Monitored Distillation for Positive Congruent Depth Completion},
author = {Tian Yu Liu and Parth Agrawal and Allison Chen and Byung-Woo Hong and Alex Wong},
journal= {arXiv preprint arXiv:2203.16034},
year = {2022}
}