低秩彩票票：通过矩阵微分方程寻找高效低秩神经网络
机器学习
2022-10-19 v2 人工智能
数值分析
数值分析
机器学习
摘要
神经网络在大量应用中取得了巨大成功。然而，其内存占用与计算需求可能使它们在硬件或能源资源受限的应用场景中难以实用。本文提出一种寻找高效低秩子网络的新算法。值得注意的是，这些子网络在训练阶段即被确定并自适应调整，其训练与评估所需的总体时间与内存资源均显著降低。核心思想是将权重矩阵限制于低秩流形，并在训练中更新低秩因子而非完整矩阵。为推导限制于该规定流形上的训练更新，我们采用矩阵微分方程的动态模型降阶技术。这使我们能够提供逼近性、稳定性与下降保证。此外，我们的方法在训练中自动动态地调整秩以达到期望的逼近精度。所提方法的效率通过全连接与卷积网络上的多种数值实验得到验证。
引用
@article{arxiv.2205.13571,
title = {Low-rank lottery tickets: finding efficient low-rank neural networks via matrix differential equations},
author = {Steffen Schotthöfer and Emanuele Zangrando and Jonas Kusch and Gianluca Ceruti and Francesco Tudisco},
journal= {arXiv preprint arXiv:2205.13571},
year = {2022}
}