利用正交性训练低秩神经网络
机器学习
2024-11-12 v4 人工智能
摘要
本研究通过分析训练过程中权重的奇异值分解（SVD），探索了神经网络的学习动态。我们的研究发现，在每个多维权重的SVD表示中，正交基在训练过程中趋于稳定。基于此，我们提出了正交性感知自适应低秩（OIALR）训练，这是一种利用神经网络内在正交性的新型训练方法。OIALR可以无缝集成到现有训练流程中，且精度损失极小，这一点已在多种数据集和成熟网络架构上的基准测试中得到验证。通过适当的超参数调优，OIALR能够超越传统训练设置，包括那些最先进模型的设置。
引用
@article{arxiv.2401.08505,
title = {Harnessing Orthogonality to Train Low-Rank Neural Networks},
author = {Daniel Coquelin and Katharina Flügel and Marie Weiel and Nicholas Kiefer and Charlotte Debus and Achim Streit and Markus Götz},
journal= {arXiv preprint arXiv:2401.08505},
year = {2024}
}