KD360-VoxelBEV：基于 LiDAR 与 360° 摄像头跨模态知识蒸馏的鸟瞰视图分割
计算机视觉与模式识别
2025-12-18 v1
摘要
我们提出首个专为单全景摄像头鸟瞰视图 (BEV) 分割设计的跨模态蒸馏框架。该方法利用 novel LiDAR image representation 融合 range、intensity 与 ambient 通道，搭配 voxel-aligned view transformer 以保持空间保真度同时实现高效 BEV 处理。在训练过程中，high-capacity LiDAR 与摄像头融合 Teacher 网络提取丰富的空间与语义特征，用于跨模态知识蒸馏至轻量化 Student 网络，后者仅依赖单台 360° 全景摄像头图像。Dur360BEV 数据集上的大量实验表明，Teacher 模型显著优于现有基于摄像头的 BEV 分割方法，IoU 提升 25.6%。与此同时，蒸馏得到的 Student 网络在 8.5% IoU 提幅下达到具竞争力的性能，并实现业界最佳的 31.2 FPS 推理速度。此外，在 KITTI-360 (两种鱼眼摄像头) 上的评估表明，我们的蒸馏框架可推广至多样化摄像头配置，凸显其可行性与鲁健性。该方法降低了传感器复杂度与部署成本，为实际应用中高效低成本 BEV 分割提供了实用方案。
引用
@article{arxiv.2512.15311,
title = {KD360-VoxelBEV: LiDAR and 360-degree Camera Cross Modality Knowledge Distillation for Bird's-Eye-View Segmentation},
author = {Wenke E and Yixin Sun and Jiaxu Liu and Hubert P. H. Shum and Amir Atapour-Abarghouei and Toby P. Breckon},
journal= {arXiv preprint arXiv:2512.15311},
year = {2025}
}