利用随机矩阵理论提升深度学习精度
机器学习
2024-09-10 v3 最优化与控制
摘要
我们探索随机矩阵理论（RMT）在深度神经网络（DNNs）训练中的应用，重点关注层剪枝，即减少 DNN 参数（权重）的数量。我们的数值结果表明，这种剪枝大幅减少了参数，同时并未降低 DNN 和 CNN 的精度。此外，对全连接 DNN 进行剪枝实际上提高了精度并降低了随机初始化的方差。我们的数值实验表明，这种精度的提升源于损失景观的简化。接下来，我们通过证明基于 RMT 的剪枝定理，为这些数值结果提供严格的数学基础。我们的结果为 RMT 在创建更高效、更准确的深度学习模型中的实际应用提供了有价值的见解。
引用
@article{arxiv.2310.03165,
title = {Enhancing Accuracy in Deep Learning Using Random Matrix Theory},
author = {Leonid Berlyand and Etienne Sandier and Yitzchak Shmalo and Lei Zhang},
journal= {arXiv preprint arXiv:2310.03165},
year = {2024}
}