COSEE：基于校准样本加权机制的面向一致性信号提前退出方法

提前退出是一种有效的范式，通过动态调整每个样本执行的层数来提高预训练语言模型（PLM）的推理效率。然而，在大多数现有工作中，简单和困难样本在训练期间被每个分类器同等对待，这忽略了测试时的提前退出行为，导致训练和测试之间的不一致。尽管一些方法在固定加速比下解决了这一问题，但在保持训练和测试之间一致性的同时灵活调整加速比的挑战仍鲜有探索。为了弥合这一差距，我们提出了一种新颖的面向一致性信号提前退出（COSEE）框架，该框架利用校准的样本加权机制，使每个分类器能够强调在各种加速场景下更可能在分类器处退出的样本。在 GLUE 基准上的大量实验证明了我们的 COSEE 在多种退出信号和骨干网络上的有效性，在性能和效率之间取得了更好的权衡。