通过知识蒸馏提升轻量级深度估计
计算机视觉与模式识别
2023-04-18 v3
摘要
单目深度估计(MDE)方法常因模型复杂度与推理性能间的权衡而要么计算开销过大，要么精度不足。本文提出一种轻量级网络，可用极少计算资源准确估计深度图。我们通过设计紧凑模型架构以最大限度降低模型复杂度来实现这一点。为提升轻量级网络性能，我们采用知识蒸馏(KD)技术。我们将一个大网络视为能在目标域准确估计深度图的专家教师，学生即轻量级网络，被训练以模仿教师的预测。然而，由于师生模型容量差距大，该KD过程可能困难且不充分。为此，我们提出使用辅助无标签数据引导KD，使学生更好地从教师预测中学习，从而填补师生间差距，改善数据驱动学习。大量实验表明，我们的方法仅用SOTA方法1%的参数即取得可比性能，且在推理精度、计算效率与泛化性上优于先前轻量级方法。
引用
@article{arxiv.2105.06143,
title = {Boosting Light-Weight Depth Estimation Via Knowledge Distillation},
author = {Junjie Hu and Chenyou Fan and Hualie Jiang and Xiyue Guo and Yuan Gao and Xiangyong Lu and Tin Lun Lam},
journal= {arXiv preprint arXiv:2105.06143},
year = {2023}
}