教学不确定性：在目标检测中释放知识蒸馏的潜能
计算机视觉与模式识别
2026-03-24 v1
摘要
知识蒸馈（KD）是目标检测任务中广泛采用且有效的方法之一，尤其是特征基方法展现出卓越的性能。现有方法常忽视教师模型知识中的不确定性，这种不确定性源于数据噪声和训练的不完美。这限制了学生模型学习潜在知识的能力，因为学生模型可能过度依赖教师的不完美指导。在本文中，我们提出了一种新颖的特征基蒸馈范式，称为“不确定性估计-判别性知识提取-知识传递（UET）”，其可以无缝集成到现有的蒸馈方法中。通过利用蒙特卡洛 dropout 技术，我们将知识不确定性引入学生模型的训练过程中，以促进潜在知识的更深入探索。该方法在 KD 过程中无需复杂的结构或大量计算资源即可有效工作。广泛的实验验证了我们所提出方法在各种蒸馈策略、检测器和主干架构上的有效性。 Specifically, following our proposed paradigm, the existing FGD method achieves state-of-the-art (SoTA) performance, with ResNet50-based GFL achieving 44.1% mAP on the COCO dataset, surpassing the baselines by 3.9%。
引用
@article{arxiv.2406.06999,
title = {Teaching with Uncertainty: Unleashing the Potential of Knowledge Distillation in Object Detection},
author = {Junfei Yi and Jianxu Mao and Tengfei Liu and Mingjie Li and Hanyu Gu and Hui Zhang and Xiaojun Chang and Yaonan Wang},
journal= {arXiv preprint arXiv:2406.06999},
year = {2026}
}