通过拉普拉斯近似改进知识蒸馏中的群体公平性

知识蒸馏（KD）已成为使用更大预训练教师模型训练紧凑学生模型的强大工具，通常需要更少的数据和计算资源。教师模型通常拥有更多的层，从而在特征表示方面具有更丰富的表达能力，而学生模型则倾向于在早期层中学习更简单、表层级的特征。这种差异可能增加特定输入属性与标签虚假相关的群体中的错误，从而导致即使总体准确率相当于教师模型时，群体公平性下降。为缓解这些挑战，已采用早期退出神经网络（EENN），在多个中间层上进行预测。从这些早期退出中推导出的置信度边际被用于对交叉熵和蒸馏损失在实例级别上进行重加权。在本文中，我们提议利用基于拉普拉斯近似的方法获取更良好校准的不确定性估计，同样可以有效地对更具挑战性的实例进行重加权，从而提高群体公平性。我们假设拉普拉斯近似在识别困难或模糊的实例方面比边际方法更稳健。为验证我们的主张，我们在基于BERT的模型上对MultiNLI数据集进行基准测试。