研究幅度剪枝对对比学习方法的影响
机器学习
2022-07-04 v1 计算机视觉与模式识别
摘要
我们研究了不同剪枝技术对以对比损失函数训练的深层神经网络所学表征的影响。我们的工作发现，在高稀疏度水平下，对比学习相对于以传统交叉熵损失训练的模型会产生更多误分类样本。为理解这一显著差异，我们使用 PIE 数量（Hooker 等，2019）、Q-Score（Kalibhat 等，2022）和 PD-Score（Baldock 等，2021）等指标来衡量剪枝对所学表征质量的影响。我们的分析表明，剪枝方法实施的调度至关重要。我们发现，当在训练阶段早期引入剪枝时，稀疏度对所学表征质量的负面影响最为严重。
引用
@article{arxiv.2207.00200,
title = {Studying the impact of magnitude pruning on contrastive learning methods},
author = {Francesco Corti and Rahim Entezari and Sara Hooker and Davide Bacciu and Olga Saukh},
journal= {arXiv preprint arXiv:2207.00200},
year = {2022}
}