解耦式多预测器优化：面向高效模型调优的推理方法

最近，大规模预训练模型调优取得了显著进展，推理效率正变得越来越重要以适应实际部署。早期退出结合多阶段预测器，与参数高效微调策略协同工作，为实现高效模型提供了 straightforward 的途径。然而，仍存在一个关键未解决的问题：如何让早期阶段提供给深层阶段低层基本特征，同时又为早期阶段的预测器提供高层判别特征？为此，我们提出了一种解耦式多预测器优化（Decoupled Multi-Predictor Optimization, DMPO）方法，有效地在早期阶段中解耦低层代表能力和高层判别能力。首先，在架构方面，我们在多阶段预测器中引入轻量级旁路模块，用于功能分解早期阶段的浅层特征；同时，我们开发了基于高阶统计量的预测器，用于有效提升早期阶段的判别能力。为合理训练多预测器架构，提出了解耦优化策略，为模型调优期间的多阶段预测器分配两个阶段的损失权重，其中初始训练阶段使模型优先通过强调早期阶段的代表能力来获取深层阶段的判别能力，而后期训练阶段则尽可能将判别能力驱动到更早的阶段。如此一来，我们的DMPO能够在架构设计和模型优化两个方面有效地解耦早期阶段的代表能力和判别能力。跨越多个数据集和各种预训练 backbone 的实验表明，DMPO 在降低计算成本方面明显优于其他方法。