双曲蒸馏：面向鲁棒 3D 目标检测的几何引导跨模态迁移

跨模态知识蒸馏已成为在 3D 感知任务中融合点云与图像特征的有效策略。然而，模态异构性、空间未对齐以及多模态的表示危机往往限制了这些跨模态蒸馏方法的效率。为解决现有方法中的这些局限性，我们提出了一种用于多模态 3D 目标检测的双曲约束跨模态蒸馏方法（HGC-Det）。所提出的 HGC-Det 框架包含一个图像分支和一个点云分支，以从两种不同模态中提取语义特征。点云分支包含三个核心组件：2D 语义引导的体素优化组件（SGVO）、双曲几何约束的跨模态特征迁移组件（HFT）以及基于特征聚合的几何优化组件（FAGO）。具体而言，SGVO 组件利用来自图像分支的语义线索自适应地细化 3D 分支的空间表示，从而缓解表示融合不充分的问题。HFT 组件利用双曲空间的内蕴几何特性，缓解高维图像特征与低维点云特征融合过程中的语义损失。最后，FAGO 补偿了由 2D 语义引导的体素优化组件引入的潜在空间特征退化。在室内数据集（SUN RGB-D、ARKitScenes）和室外数据集（KITTI、nuScenes）上的大量实验表明，我们的方法在检测精度与计算成本之间取得了更好的折中。