X-Distill：通过跨任务蒸馏改进自监督单目深度估计
计算机视觉与模式识别
2021-10-26 v1
摘要
在本文中，我们提出一种新方法 X-Distill，通过从语义分割到深度估计的跨任务知识蒸馏来改进单目深度的自监督训练。更具体地，在训练期间，我们利用一个预训练的语义分割教师网络并将其语义知识迁移到深度网络。为了实现这种跨两种不同视觉任务的知识蒸馏，我们引入了一个小型可训练网络，将预测的深度图转换为语义分割图，随后可由教师网络对其进行监督。通过这种方式，该小型网络使得训练期间来自语义分割教师监督的梯度能够反向传播至深度网络。此外，由于语义分割中常用的对象类别不能直接迁移到深度，我们研究了对象的视觉与几何特征，并设计了一种可由两个任务共享的新的分组方式。值得注意的是，我们的方法仅修改训练过程，在推理时不带来额外计算。我们在标准 KITTI 基准上广泛评估了所提方法的有效性，并与最新 SOTA 进行比较。我们进一步在 Make3D 上测试了方法的泛化性。总体而言，结果表明我们的方法显著提升了深度估计精度并优于 SOTA。
引用
@article{arxiv.2110.12516,
title = {X-Distill: Improving Self-Supervised Monocular Depth via Cross-Task Distillation},
author = {Hong Cai and Janarbek Matai and Shubhankar Borse and Yizhe Zhang and Amin Ansari and Fatih Porikli},
journal= {arXiv preprint arXiv:2110.12516},
year = {2021}
}
备注
Accepted to BMVC 2021