深层特征手术：面向精准高效多退出网络

多退出网络是一种通过在多个退出点共享背板网络和权重来实现高效模型推理的 promising 架构。然而，共享权重的梯度冲突导致准确率次优。本文引入Deep Feature Surgery（\methodname），包括特征分区和特征引用方法，以解决多退出网络训练期间的梯度冲突问题。特征分区在深度轴上将共享特征分给所有退出点，以缓解梯度冲突，同时促进每个退出点的联合优化。随后，特征引用通过不同深度的多尺度特征来增强各退出点的特征，以提高模型准确率。此外，\methodname 减少了反向传播的计算复杂度，从而降低了训练操作。在Cifar100和ImageNet数据集上的实验结果表明，\methodname 在各种模型和任务上相较于基线方法，可实现训练时间最长降低50.00%，准确率提升最高达6.94%。在MSDNet上的预算化batch分类评估显示，DFS 平均每张图像的FLOPs数仅为基线方法的2倍，即可在Cifar100上实现相同的分类准确率。代码已公开于https://github.com/GongCheng1919/dfs。