规范知识蒸馏在语义分割中的惊人有效性
计算机视觉与模式识别
2026-04-30 v2 人工智能
摘要
近期的语义分割知识蒸馏 (KD) 方法引入越来越复杂的人工设计目标，但通常是在固定的迭代计划下进行评估。这些目标在每次迭代中的计算成本显著增加，意味着相等的迭代次数并不对应相等的训练预算。因此，难以确定报告的提升是反映更强的蒸馈信号，还是仅仅源于更大的计算资源。我们展示，基于迭代的比较是误导的：当匹配实际计算时间时，规范的基于 logits 和特征的蒸馈方法反超最新的针对分割任务的方法。在扩展训练后，基于特征的蒸馈在 Cityscapes 和 ADE20K 上实现了 ResNet-18 的最佳性能。PSPNet ResNet-18 学生几乎接近其 ResNet-101 教师，尽管仅使用四分之一的参数，在 Cityscapes 上达到教师 mIoU 的 99% (79.0 与 79.8)，ADE20K 上达到 92%。我们的结果挑战了关于 KD 用于分割需要任务特定机制的主流假设，并表明未来的方法设计应以规模为导向，而非复杂的人工设计目标。
关键词
引用
@article{arxiv.2604.25530,
title = {The Surprising Effectiveness of Canonical Knowledge Distillation for Semantic Segmentation},
author = {Muhammad Ali and Kevin Alexander Laube and Madan Ravi Ganesh and Lukas Schott and Niclas Popp and Thomas Brox},
journal= {arXiv preprint arXiv:2604.25530},
year = {2026}
}
备注
Presented at Efficient Computer Vision (ECV) Workshop, CVPR 2026. 5 pages, 3 figures