压缩模型不等价于其大型版本
计算与语言
2025-08-20 v1 机器学习
摘要
大型深度学习模型常在资源受限的环境中进行压缩部署。在资源受限的环境中，我们能否像信赖原始大型模型的预测一样信赖压缩模型的预测？现有研究密切关注压缩对准确性及相关性能指标的影响。然而，性能平衡并不保证可信等价性。我们提出了一个二维框架用于可信等价性评估。首先，解释性对齐度衡量模型是否基于相同的输入特征。我们使用LIME和SHAP测试来衡量解释性对齐度。其次，校准相似性衡量模型在其预测概率上是否表现出可比的可靠性。通过ECE、MCE、Brier得分和可靠性图进行评估。我们使用BERT-base作为大型模型及其多个压缩变体进行实验。我们关注两个文本分类任务：自然语言推理和语义重复检测。我们的结果揭示了即使在模型准确率几乎相同的情况下，也存在低解释性对齐和显著的校准相似性差异。这些发现表明，压缩模型与其大型版本不等价于可信等价。在部署压缩模型作为大型模型的即插即用替换时，需要仔细评估，超越性能平衡。
引用
@article{arxiv.2508.13533,
title = {Compressed Models are NOT Trust-equivalent to Their Large Counterparts},
author = {Rohit Raj Rai and Chirag Kothari and Siddhesh Shelke and Amit Awekar},
journal= {arXiv preprint arXiv:2508.13533},
year = {2025}
}