重构深度神经网络：释放自然梯度下降的优化潜力
机器学习
2024-12-11 v1 人工智能
摘要
自然梯度下降（NGD）是一种强大的机器学习优化技术，但Fisher信息矩阵的逆矩阵的计算复杂度限制了其在训练深度神经网络中的应用。为克服这一挑战，我们提出了一种名为结构化自然梯度下降（SNGD）的深度神经网络训练新优化方法。理论上，我们证明了使用NGD优化原始网络等价于使用快速梯度下降（GD）优化经过参数矩阵结构变换后的重构网络。因此，我们通过构建重构网络中的局部Fisher层，将全局Fisher信息矩阵的计算分解为局部Fisher矩阵的高效计算，从而加速训练。在各种深度网络和数据集上的实验结果表明，SNGD在保持可比解的同时比NGD实现了更快的收敛速度。此外，我们的方法在效率和效果方面优于传统的GD。因此，我们提出的方法有望显著提升NGD在深度学习应用中的可扩展性和效率。我们的源代码可在 https://github.com/Chaochao-Lin/SNGD 获取。
引用
@article{arxiv.2412.07441,
title = {Reconstructing Deep Neural Networks: Unleashing the Optimization Potential of Natural Gradient Descent},
author = {Weihua Liu and Said Boumaraf and Jianwu Li and Chaochao Lin and Xiabi Liu and Lijuan Niu and Naoufel Werghi},
journal= {arXiv preprint arXiv:2412.07441},
year = {2024}
}