压缩模型的可信度被压缩了吗？——评估模型压缩的忠诚度

在实际应用中，计算约束常需通过模型压缩将大型模型转化为更小、更高效的版本。虽然这些技术旨在减少规模和计算成本而不牺牲性能，但其评估传统上仅关注规模与准确性之间的权衡，忽略了模型忠诚度这一方面。这种有限的视角对于像医疗、金融和刑事司法等高风险领域的应用而言是不够的，在这些领域中，压缩后的模型必须忠实于其原始版本的行为。本文提出了一种评估压缩模型忠诚度的新方法，超越标准指标。我们引入并演示了一组捕捉模型行为变化的忠诚度指标。我们的贡献包括引入技术来评估原始模型与压缩模型之间的预测一致性，使用模型一致性进行评估，并应用卡方检验检测在整个数据集和人口统计亚组上的预测模式是否存在统计显著变化，从而暴露出聚合公平性指标可能掩盖的偏移。我们通过对人工神经网络（ANNs）在三个多样且社会意义数据集上进行量化和剪枝来展示我们的做法。我们的发现表明，高准确性并不保证忠诚度，且我们的统计检验检测到标准指标（如准确率和平等机会）所忽略的细微但显著的偏移。所提出的指标为确保压缩带来的效率提升不损害至关重要的公平性和忠诚度提供了实用且更直接的方法。