带 $\varepsilon$--扰动的强彩票假设
机器学习
2022-11-01 v1 人工智能
信息论
math.IT
最优化与控制
摘要
强彩票假设（strong Lottery Ticket Hypothesis, LTH）声称，在一个足够大的随机初始化神经网络中存在一个子网络，无需训练即可逼近某个目标神经网络。我们将强 LTH 文献的理论保证扩展到更类似于原始 LTH 的场景，通过将预训练步骤中的权重变化推广到初始化附近的某种扰动。具体而言，我们关注以下开放问题：通过允许对随机初始权重进行 尺度扰动，我们能否降低强 LTH 中候选网络的过参数化要求？此外，SGD 带来的权重变化是否与这样一组良好扰动相吻合？我们通过首先将子集和的理论结果推广到允许对候选者进行扰动来回答第一个问题。将此结果应用于神经网络设置，我们表明这种 扰动降低了强 LTH 的过参数化要求。为了回答第二个问题，我们通过实验表明，由投影 SGD 实现的扰动权重在强 LTH 剪枝下表现出更好的性能。
引用
@article{arxiv.2210.16589,
title = {Strong Lottery Ticket Hypothesis with $\varepsilon$--perturbation},
author = {Zheyang Xiong and Fangshuo Liao and Anastasios Kyrillidis},
journal= {arXiv preprint arXiv:2210.16589},
year = {2022}
}