Simon Says：基于知识蒸馏的剪枝神经网络偏差评估与缓解
机器学习
2021-06-16 v1 人工智能
计算机视觉与模式识别
摘要
近年来 AI 的广泛部署引发了关于算法偏差、歧视与公平性的重大担忧。相较于人类造成的传统偏见或歧视，AI 生成的算法偏差更为抽象且反直觉，因而更难解释与缓解。现有文献在评估与缓解剪枝神经网络中的偏差方面存在明显空白。本文致力于解决剪枝神经网络中诱发偏差的评估、缓解与解释等挑战性问题。我们的论文做出三点贡献。第一，我们提出两个简单而有效的指标——联合误差方差（CEV）与对称距离误差（SDE），用于定量评估剪枝模型的诱发偏差防范质量。第二，我们证明知识蒸馏能够缓解剪枝神经网络中的诱发偏差，即便在数据集不平衡时亦如此。第三，我们揭示模型相似性与剪枝诱发偏差具有强相关性，这为解释剪枝神经网络中偏差产生的原因提供了有力方法。我们的代码可在 https://github.com/codestar12/pruning-distilation-bias 获取。
引用
@article{arxiv.2106.07849,
title = {Simon Says: Evaluating and Mitigating Bias in Pruned Neural Networks with Knowledge Distillation},
author = {Cody Blakeney and Nathaniel Huish and Yan Yan and Ziliang Zong},
journal= {arXiv preprint arXiv:2106.07849},
year = {2021}
}