基于掩码特征重建的时间知识蒸馏用于 3D 目标检测
计算机视觉与模式识别
2024-01-09 v2
摘要
在鸟瞰视图 3D 目标检测中，在精度与效率之间取得平衡是一个突出的挑战。尽管以往基于相机的 BEV 方法通过融合长期时间信息取得了显著性能，但大多数仍面临效率低下的问题。一个潜在的解决方案是知识蒸馏。现有的蒸馏方法仅关注重建空间特征，而忽视了时间知识。为此，我们提出 TempDistiller，一种时间知识蒸馏器，用于在提供有限帧数的情况下从教师检测器获取长期记忆。具体而言，通过将自注意力操作应用于特征教师，融合长期时间知识来构建重建目标。随后，通过生成器为掩码的学生特征生成新颖特征。最终，我们利用此重建目标来重建学生特征。此外，我们还探索了当为学生模型输入完整帧时的时间关系知识。我们在 nuScenes 基准上验证了所提方法的有效性。实验结果表明，与基线相比，我们的方法获得了 +1.6 mAP 和 +1.1 NDS 的提升，压缩时间知识后速度提升约 6 FPS，并实现了最准确的速度估计。
引用
@article{arxiv.2401.01918,
title = {Distilling Temporal Knowledge with Masked Feature Reconstruction for 3D Object Detection},
author = {Haowen Zheng and Dong Cao and Jintao Xu and Rui Ai and Weihao Gu and Yang Yang and Yanyan Liang},
journal= {arXiv preprint arXiv:2401.01918},
year = {2024}
}