CalexNet：软级联对齐训练与轻量级早退出分支校准
计算机视觉与模式识别
2026-05-11 v2
摘要
基于冻结卷积主干网络的早退出级联结构可实现自适应推理，但受到三个来源的训练-推理不匹配的制约：分支在训练时使用的样本在推理时永远不会遇到；其每类精度阈值在错误分布上校准；标准交叉熵目标对主干 argmax 标签进行分类，丢弃了主干的不确定性信号。我们通过 CalexNet（Cascade-Aligned Early eXits）的训练配方-only 修改，克服了这三个差距：分支在持续加权重要性抽样下训练，匹配级联存活分布；每类精度阈值在实际级联存活子集的验证集上校准；分类头通过温度缩放的 KL 目标在主干的完整 softmax 上进行训练。结合增强原型池化分支头，CalexNet 在 CIFAR-100（20 超类粗糙设置，即更具挑战性的主要设置）和 CINIC-10（10 类，即更易交叉验证的对应设置）上的 ResNet18 和 ResNet50 主干网络进行评估。在精度-FLOPs 帕累托前沿上，CalexNet 在三个已发布基线（PTEEnet、ZTW、BoostNet）和一个“无对齐、无知识蒸馏”参考模型中匹配或超越。最大收益出现在实际相关的 30%-70% FLOPs 减少区间，并且在 n=3 个训练随机种子上保持稳定。CalexNet 无需推理时的结构性修改，可作为任何冻结主干早退出级联的即插即用组件。
引用
@article{arxiv.2509.08318,
title = {CalexNet: Soft Cascade-Aligned Training and Calibration for Lightweight Early-Exit Branches},
author = {Yehudit Aperstein and Alexander Apartsin},
journal= {arXiv preprint arXiv:2509.08318},
year = {2026}
}
备注
19 pages, 6 figures