面向轻量化点云分析的双向知识重构
计算机视觉与模式识别
2023-10-10 v1
摘要
点云分析面临计算系统开销问题，限制了其在移动或边缘设备上的应用。直接采用小模型可能导致性能显著下降，因为小模型难以同时充分捕捉局部结构与全局形状信息，而这些正是点云分析的关键线索。本文探索面向轻量化点云模型的特征蒸馏。为缓解轻量化学生模型与笨重教师模型之间的语义鸿沟，我们提出双向知识重构（BKR）以将信息丰富的上下文知识从教师蒸馏给学生。具体而言，分别设计了自顶向下知识重构与自底向上知识重构，以从教师处继承多样的局部结构信息与一致的全局形状知识。然而，由于大多数点云模型中的最远点采样，教师与学生之间的中间特征未对齐，恶化了特征蒸馏性能。为消除该问题，我们提出基于最优传输的特征移动者距离（FMD）损失，可有效度量无序点云特征之间的距离。在形状分类、部件分割与语义分割基准上开展的广泛实验证明了我们方法的通用性与优越性。
引用
@article{arxiv.2310.05125,
title = {Bidirectional Knowledge Reconfiguration for Lightweight Point Cloud Analysis},
author = {Peipei Li and Xing Cui and Yibo Hu and Man Zhang and Ting Yao and Tao Mei},
journal= {arXiv preprint arXiv:2310.05125},
year = {2023}
}
备注
Accepted by IEEE Transactions on Multimedia (TMM)