通过零空间投影提高可靠早期退出的预测确定性估计
机器学习
2025-06-24 v1 人工智能
摘要
早期退出已显示出在加速预训练语言模型 (PLMs) 的推理方面具有巨大的潜力，通过使易样本在浅层退出，消除执行更深层的需求。然而，现有的早期退出方法主要依赖于与类别相关的 logits 来构建其退出信号，以估计预测确定性，忽略了特征中与类别无关信息对预测确定性的不利影响。这导致对预测确定性的过度估计，导致具有错误早期预测样本的过早退出。为此，我们定义了 NSP 分数，通过考虑特征中类别无关信息的比例来估计预测确定性。基于此，我们提出了一种基于确定性感知概率 (Certainty-Aware Probability, CAP) 分数的新型早期退出方法，将 logits 和 NSP 分数的见解相结合，以增强预测确定性估计，从而实现更可靠的退出决策。在 GLUE 框架上的实验结果显示，我们的方法在所有任务上平均实现 2.19 倍的加速比，性能几乎不受影响，超过了最先进 (SOTA) ConsistentEE 的 28%，在任务性能和推理效率之间实现了更好的权衡。代码已公开于 https://github.com/He-Jianing/NSP.git。
引用
@article{arxiv.2506.17249,
title = {Improving Prediction Certainty Estimation for Reliable Early Exiting via Null Space Projection},
author = {Jianing He and Qi Zhang and Duoqian Miao and Yi Kun and Shufeng Hao and Hongyun Zhang and Zhihua Wei},
journal= {arXiv preprint arXiv:2506.17249},
year = {2025}
}
备注
IJCAI 2025, 9 pages