SAFE-KD：面向风险控制的早期退出蒸馏技术用于视觉主干网络

Salim Khazem

SAFE-KD：面向风险控制的早期退出蒸馏技术用于视觉主干网络

机器学习 2026-02-04 v1 人工智能计算机视觉与模式识别

作者: Salim Khazem

摘要

早期退出网络通过允许“容易”输入提前退出来降低推理成本，但实际部署的关键在于确定何时可以安全地进行早期退出。我们提出SAFE-KD，一个通用的多退出包装器，用于现代视觉主干网络，采用层次化蒸馏与保守风险控制相结合。SAFE-KD在中间深度处附加轻量级退出头，通过解耦知识蒸馏(DKD)将强教师模型蒸馈至所有退出点，并在退出点之间强制深层到浅层一致性。在推理阶段，我们利用保守风险控制(CRC)对每个退出点的停止阈值进行校准，以在交换性假设下保证用户指定的“选择性”错误分类风险(即早期退出样本的误分类风险)。在多个数据集和网络结构上，SAFE-KD在准确率与计算量、校准强度以及在噪声扰动下的鲁棒性方面均取得改进，同时提供有限样本风险保证。

关键词

知识蒸馏早期退出网络保守风险控制视觉主干选择性风险

引用

@article{arxiv.2602.03043,
  title  = {SAFE-KD: Risk-Controlled Early-Exit Distillation for Vision Backbones},
  author = {Salim Khazem},
  journal= {arXiv preprint arXiv:2602.03043},
  year   = {2026}
}

备注

Submitted to IJCNN

SAFE-KD：面向风险控制的早期退出蒸馏技术用于视觉主干网络

摘要

关键词

引用

备注

相关论文