蒸馏后剩余什么？知识传递对公平性与偏差的影响
机器学习
2025-04-03 v2 计算机与社会
机器学习
摘要
知识蒸馏是一种常用的深度神经网络（DNN）压缩方法，通常保持整体泛化性能。然而，我们展示了即使针对平衡的数据集进行分类，如CIFAR-100、Tiny ImageNet和ImageNet，最多有41%的类别在教师/蒸馏学生或蒸馏学生/非蒸馏学生模型之间进行class-wise accuracy（即类别偏差）的比较时，受到显著影响。类别偏差的变化不一定是模型用途语境下的不可取的结果。在使用CelebA、Trifeature和HateXplain数据集上的两个常见公平性指标（人口统计公平性差异DPD和平等机会差异EOD）的分析结果表明，增加蒸馏温度会提高蒸馏学生模型的公平性，蒸馏学生的公平性甚至可以在高温度下超过教师模型的公平性。此外，我们检查了个体公平性，确保相似的实例接收相似的预测。我们的结果确认更高的温度也会提高蒸馏学生模型的个体公平性。这一研究突显了蒸馏对某些类别产生不均衡影响及其在公平性方面潜在的重要作用，强调在使用蒸馏模型进行敏感应用领域时应加以谨慎。
引用
@article{arxiv.2410.08407,
title = {What is Left After Distillation? How Knowledge Transfer Impacts Fairness and Bias},
author = {Aida Mohammadshahi and Yani Ioannou},
journal= {arXiv preprint arXiv:2410.08407},
year = {2025}
}
备注
Published in Transactions on Machine Learning Research (TMLR), March 2024. https://openreview.net/forum?id=xBbj46Y2fN