可学习实例注意力过滤用于自适应检测器蒸馏
计算机视觉与模式识别
2026-03-30 v1
摘要
随着深度视觉模型变得越来越复杂以实现更高性能，部署效率已成为一个关键问题。知识蒸馏（KD）通过将知识从大型教师模型转移到紧凑的学生模型来缓解这一问题。虽然许多基于特征的 KD 方法依赖空间过滤来引导蒸馏，但它们通常统一对待所有目标实例，忽略了实例级别的变异性。此外，现有的注意力过滤机制通常是启发式的或由教师驱动的，而非由学生学习。为了解决这些限制，我们提出了 Learnable Instance Attention Filtering for Adaptive Detector Distillation（LIAF-KD），一个引入可学习实例选择器的新型框架，在蒸馏过程中动态评估和重新加权实例重要性。值得注意的是，学生基于其不断演化的学习状态为这一过程做出贡献。在 KITTI 和 COCO 数据集上的实验证明了持续改进，在 GFL ResNet-50 学生模型上实现了 2% 的增益且未增加复杂度，超越了最先进的方法。
引用
@article{arxiv.2603.26088,
title = {Learnable Instance Attention Filtering for Adaptive Detector Distillation},
author = {Chen Liu and Qizhen Lan and Zhicheng Ding and Xinyu Chu and Qing Tian},
journal= {arXiv preprint arXiv:2603.26088},
year = {2026}
}