itKD：基于交换传递的知识蒸馏用于三维目标检测
计算机视觉与模式识别
2023-03-28 v2 机器学习
摘要
基于点云的三维目标检测器近来取得了显著进展。然而，多数研究局限于网络架构的开发，仅提升精度而未考虑计算效率。在本文中，我们首次提出一种自编码器风格框架，通过基于交换传递的知识蒸馏实现通道级压缩与解压缩。为学习教师网络的特征图视图特征，将教师与学生网络的特征独立地通过共享自编码器；此处我们使用压缩表示损失，将来自学生与教师网络的通道级压缩知识绑定作为一种正则化。解压缩特征被反向传递以减小交换重建中的差距。最后，我们提出一种头部注意力损失，以匹配由多头自注意力机制抽取的三维目标检测信息。通过大量实验，我们验证了所提方法能够训练与三维点云检测任务良好对齐的轻量模型，并利用知名公开数据集（如Waymo和nuScenes）展示了其优越性。
引用
@article{arxiv.2205.15531,
title = {itKD: Interchange Transfer-based Knowledge Distillation for 3D Object Detection},
author = {Hyeon Cho and Junyong Choi and Geonwoo Baek and Wonjun Hwang},
journal= {arXiv preprint arXiv:2205.15531},
year = {2023}
}
备注
Accepted at CVPR 2023