OccFeat：用于预训练BEV分割网络的自监督占据特征预测
计算机视觉与模式识别
2024-06-13 v3 机器学习
摘要
我们提出一种名为OccFeat的自监督预训练方法，用于相机-only Bird's-Eye-View（BEV）分割网络。通过占据预测和特征蒸馏任务进行预训练，OccFeat为模型提供了3D场景的几何理解。然而，这些几何是类别无关的。因此，我们通过从自监督预训练的图像基础模型进行蒸馏，为模型在3D空间中引入语义信息。使用我们的方法预训练的模型在BEV语义分割任务中表现出 improved performance，尤其在数据有限的场景中效果显著。此外，实证结果确认了在预训练方法中集成特征蒸馏与3D占据预测的有效性。仓库：https://github.com/valeoai/Occfeat
引用
@article{arxiv.2404.14027,
title = {OccFeat: Self-supervised Occupancy Feature Prediction for Pretraining BEV Segmentation Networks},
author = {Sophia Sirko-Galouchenko and Alexandre Boulch and Spyros Gidaris and Andrei Bursuc and Antonin Vobecky and Patrick Pérez and Renaud Marlet},
journal= {arXiv preprint arXiv:2404.14027},
year = {2024}
}
备注
Accepted to CVPR 2024, Workshop on Autonomous Driving