剪枝掩码的概率微调与 PAC-Bayes 自界学习
机器学习
2021-10-25 v1 机器学习
摘要
我们研究了一种通过优化随机剪枝掩码的期望损失来学习剪枝掩码的方法，即每个权重以某种特定于权重的概率独立置零的掩码。我们在线性回归设定下分析了所诱导随机预测器的训练动态，观察到一种数据自适应的 L1 正则化项，这与已知线性回归中 dropout 背后的数据自适应 L2 正则化项形成对比。我们还观察到对与数据标签对齐程度较低的权重更倾向于剪枝。我们评估了概率微调用于优化神经网络随机剪枝掩码的效果，初始掩码由若干基线方法生成。在每种情况下，即便在将微调后的随机剪枝掩码阈值化之后，我们都看到测试误差相对基线有所改善。最后，由于随机剪枝掩码诱导出随机神经网络，我们考虑同时训练权重和/或剪枝概率以最小化泛化误差的 PAC-Bayes 界。利用数据依赖先验，我们得到一种具有强劲性能且数值上紧界的自界学习算法。在线性模型中，我们展示了 PAC-Bayes 泛化误差界由“先验”与“后验”数据间特征对齐变化的大小所控制。
引用
@article{arxiv.2110.11804,
title = {Probabilistic fine-tuning of pruning masks and PAC-Bayes self-bounded learning},
author = {Soufiane Hayou and Bobby He and Gintare Karolina Dziugaite},
journal= {arXiv preprint arXiv:2110.11804},
year = {2021}
}
备注
34 pages, 10 figures