基于离线蒸馏框架和负权自蒸馏技术的高效点云分类
计算机视觉与模式识别
2024-09-17 v2
摘要
点云处理技术的快速发展显著增加了对高效且紧凑模型以实现高精度分类需求。知识蒸馏已成为一种强大的模型压缩技术。然而，传统的知识蒸馏通常需要大量计算资源进行大型教师模型的前向推理，从而降低学生模型的训练效率并增加资源需求。为此，我们引入一种创新的离线记录策略，避免同时加载教师和学生模型，从而降低硬件需求。该方法将大量增强样本输入教师模型，记录数据增强参数及相应的logit输出。通过应用形状级别的增强操作，如随机缩放和平移，同时排除点级别的操作（如随机抖动），显著减小记录的规模。此外，为缓解小型学生模型过度模仿教师模型输出并收敛到次优解的问题，我们采用负权重自蒸馏策略。实验结果表明，所提出的蒸馏策略使学生模型能够在保持较低参数数量的同时，达到与最先进技术相当的性能。这一方法在性能和复杂度之间实现了最佳平衡。该研究突显了我们方法在资源受限环境下优化点云分类知识蒸馏的潜力，为高效的点云分析提供了一种新方法。
引用
@article{arxiv.2409.02020,
title = {Efficient Point Cloud Classification via Offline Distillation Framework and Negative-Weight Self-Distillation Technique},
author = {Qiang Zheng and Chao Zhang and Jian Sun},
journal= {arXiv preprint arXiv:2409.02020},
year = {2024}
}