基于拓扑引导的知识蒸馏用于高效点云处理
计算机视觉与模式识别
2025-05-14 v1 机器学习
摘要
点云处理因其在自动驾驶和3D目标识别等应用中的关键作用而受到广泛关注。然而, 在资源受限的环境中部署类似Point Transformer V3等高性能模型仍然具有挑战性, 由于其高计算和内存需求。本工作引入一种新颖的蒸馏框架, 利用拓扑感知表示和梯度引导的知识蒸馏,有效地将来自高容量教师模型的知识传递给轻量学生模型。我们的 метод通过梯度基于特征对齐来捕捉点云的底层几何结构, 并选择性地引导学生模型的学习过程。实验结果表明, 在Nuscenes、SemanticKITTI和Waymo数据集上, 所提方法实现了竞争性能, 相较于教师模型可实现约16倍模型规模减小和近1.9倍的推理时间降低。值得注意的是, 在NuScenes数据集上, 本方法在仅使用激光点数据训练的知识蒸馏技术中实现了最佳性能, 超越了先前的知识蒸馏基线在分割性能方面的表现。我们的实现已公开于: https://github.com/HySonLab/PointDistill
引用
@article{arxiv.2505.08101,
title = {Topology-Guided Knowledge Distillation for Efficient Point Cloud Processing},
author = {Luu Tung Hai and Thinh D. Le and Zhicheng Ding and Qing Tian and Truong-Son Hy},
journal= {arXiv preprint arXiv:2505.08101},
year = {2025}
}