一种用于网络剪枝的公平损失函数
机器学习
2024-11-19 v2 计算机与社会
摘要
模型剪枝能够使神经网络在资源受限的环境中部署。虽然剪枝对模型整体性能的影响可能较小，但它会加剧模型中已有的偏差，使得部分样本的性能显著下降。本文中，我们提出了性能加权损失函数，一种经过简单修改的交叉熵损失函数，可用于限制剪枝过程中偏差的引入。使用CelebA、Fitzpatrick17k和CIFAR-10数据集的实验表明，所提方法是一种简单有效的工具，能够使现有剪枝方法应用于对公平性敏感的场景。本文中所有实验所用的代码可在 https://github.com/robbiemeyer/pw_loss_pruning 获取。
引用
@article{arxiv.2211.10285,
title = {A Fair Loss Function for Network Pruning},
author = {Robbie Meyer and Alexander Wong},
journal= {arXiv preprint arXiv:2211.10285},
year = {2024}
}
备注
[v1] Trustworthy and Socially Responsible Machine Learning (TSRML 2022) workshop co-located with NeurIPS 2022