SRKD：面向高效 3D 点云分割的结构与关系感知知识蒸馏
计算机视觉与模式识别
2025-06-24 v1
摘要
3D 点云分割因大规模变换模型的计算复杂度和部署限制，面临实际挑战。为此，我们提出一种新颖的结构与关系感知知识蒸馏框架，命名为 SRKD，将来自大型冻结教师模型（>100M 参数）的丰富几何与语义知识传递给轻量学生模型（<15M 参数）。具体而言，我们提出了基于亲和矩阵的关系对齐模块，通过点级相似性匹配从教师模型蒸馏结构依赖，增强学生模型学习上下文互动的能力。同时，我们引入跨样本小批次构建策略，使学生模型能够感知稳定且通用的几何结构。这一策略在不同点云实例之间对齐，而非单一样本内部。此外，应用 KL 散度对齐语义分布，同时利用ground-truth监督进一步强化精确分割。我们的方法在显著降低模型复杂度的同时实现最先进性能，展示了其在实际部署场景中的有效性与高效性。我们的代码已公开于 https://github.com/itsnotacie/SRKD。
引用
@article{arxiv.2506.17290,
title = {SRKD: Towards Efficient 3D Point Cloud Segmentation via Structure- and Relation-aware Knowledge Distillation},
author = {Yuqi Li and Junhao Dong and Zeyu Dong and Chuanguang Yang and Zhulin An and Yongjun Xu},
journal= {arXiv preprint arXiv:2506.17290},
year = {2025}
}
备注
13 pages