用于深度学习的草图经验自然梯度方法
最优化与控制
2021-03-26 v3 机器学习
摘要
本文中，我们为大规模深度学习问题开发了高效的草图经验自然梯度方法（SENG）。经验 Fisher 信息矩阵通常是低秩的，因为每次迭代仅在少量数据上采样是实际的。尽管相应的自然梯度方向位于一个小子空间中，但由于高维性，计算成本与内存需求仍不可控。我们针对不同的神经网络结构设计随机化技术以解决这些挑战。对于维度合理的层，可在正则化最小二乘子问题上执行草图。否则，由于梯度是两个矩阵乘积的向量化，我们对这些矩阵的低秩近似应用草图以计算最昂贵的部分。还开发了 SENG 的分布式版本以用于极大规模应用。在一些温和假设下建立了到驻点的全局收敛，并在神经切线核（NTK）情形下分析了快速线性收敛。在卷积神经网络上的大量实验显示了 SENG 与最先进方法的竞争力。在 ResNet50 配合 ImageNet-1k 的任务上，SENG 在 41 个周期内达到 75.9% 的 Top-1 测试精度。分布式大批量训练实验表明其扩展效率相当合理。
引用
@article{arxiv.2006.05924,
title = {Sketchy Empirical Natural Gradient Methods for Deep Learning},
author = {Minghan Yang and Dong Xu and Zaiwen Wen and Mengyun Chen and Pengxiang Xu},
journal= {arXiv preprint arXiv:2006.05924},
year = {2021}
}