自监督学习中微调策略的公平性评估
机器学习
2021-10-04 v1
摘要
在这项工作中，我们考察了微调如何影响对比自监督学习（SSL）模型的公平性。我们的发现表明，批归一化（BN）统计量起着关键作用，且仅更新预训练 SSL 骨干网络的 BN 统计量即可改善其下游公平性（最差子组提升 36%，平均子组差距缩小 25%）。该过程与监督学习具有竞争力，同时训练时间减少 4.4 倍，且仅需更新 0.35% 的参数。最后，受监督学习中近期工作的启发，我们发现更新 BN 统计量并训练残差跳跃连接（12.3% 的参数）可与全微调模型持平，同时训练时间减少 1.33 倍。
引用
@article{arxiv.2110.00538,
title = {Evaluating the fairness of fine-tuning strategies in self-supervised learning},
author = {Jason Ramapuram and Dan Busbridge and Russ Webb},
journal= {arXiv preprint arXiv:2110.00538},
year = {2021}
}
备注
Accepted to BayLearn 2021