改进用于激光雷达的视觉基础模型蒸馏的三大支柱
计算机视觉与模式识别
2024-02-21 v2
摘要
自监督图像骨干网络可非常高效地用于解决复杂 2D 任务(例如语义分割、物体发现),且只需很少或无需下游监督。理想情况下,激光雷达的 3D 骨干网络应能在这些强大 2D 特征蒸馏后继承这些特性。最新的自动驾驶数据图像到激光雷达蒸馏方法展现出可喜结果,这得益于不断改进的蒸馏方法。然而,当通过线性探测衡量蒸馏特征与全监督特征的质量时,我们仍注意到较大性能差距。本工作中,我们不只关注蒸馏方法,而是研究蒸馏的三大支柱:3D 骨干网络、预训练 2D 骨干网络以及预训练数据集。特别地,借助我们名为 ScaLR 的可扩展蒸馏方法,我们表明扩展 2D 和 3D 骨干网络并在多样化数据集上预训练可大幅提升特征质量。这使我们显著缩小蒸馏与全监督 3D 特征的质量差距,并提升预训练骨干网络对域差距和扰动的鲁棒性。
引用
@article{arxiv.2310.17504,
title = {Three Pillars improving Vision Foundation Model Distillation for Lidar},
author = {Gilles Puy and Spyros Gidaris and Alexandre Boulch and Oriane Siméoni and Corentin Sautier and Patrick Pérez and Andrei Bursuc and Renaud Marlet},
journal= {arXiv preprint arXiv:2310.17504},
year = {2024}
}
备注
The code is available at https://github.com/valeoai/ScaLR