作为重整化群的迭代幅值剪枝：在彩票 ticket 假设背景下的研究
机器学习
2023-08-08 v1 机器学习
摘要
本论文深入探讨深度神经网络（DNNs）的复杂世界，聚焦于令人兴奋的彩票ticket假设（LTH）概念。LTH假定在庞大的DNN中存在称为“中奖ticket”的较小可训练子网络，其性能可与完整模型相媲美。LTH中的关键过程迭代幅值剪枝（IMP）逐步消除最小权重，模拟DNN中的逐步学习。一旦我们识别出这些中奖ticket，便进一步研究其“普适性”。换言之，我们检验一个对某一特定问题有效的获奖ticket是否也能良好适用于其他类似问题。我们还将IMP与物理学中的重整化群（RG）理论相桥接，以促进对IMP更严格的理解。
引用
@article{arxiv.2308.03128,
title = {Iterative Magnitude Pruning as a Renormalisation Group: A Study in The Context of The Lottery Ticket Hypothesis},
author = {Abu-Al Hassan},
journal= {arXiv preprint arXiv:2308.03128},
year = {2023}
}
备注
MSci thesis, 40 pages, 13 figures