压缩模型并非大型模型的缩小版本

大型神经网络模型在部署前常被压缩。模型压缩是许多实际应用中的必要措施，如推理延迟、内存占用和能源消耗。人们常将压缩模型视为对应大型神经网络模型的缩小版本。然而，我们在工作中质疑这一信念。我们通过四个模型特征（预测误差、数据表示、数据分布和对对抗攻击的脆弱性）将压缩模型与对应的大型神经网络模型进行比较。我们使用 BERT-large 模型及其五个压缩版本进行实验。对于所有四个模型特征，压缩模型与 BERT-large 模型差异显著。在压缩模型之间，他们在所有四个特征上也彼此不同。除了预期的模型性能损失外，使用压缩模型取代大型神经网络模型还有主要的副作用。