使用层自适应速率缩放(LARS)优化器在 SystemML 中评估深度学习
机器学习
2021-02-08 v1
摘要
增大深度学习模型的批量大小是一项具有挑战性的任务。尽管它可能有助于在模型训练阶段充分利用可用系统内存，但多数情况下会导致测试精度显著下降。LARS 通过为深度学习模型的每一层引入自适应学习率解决了该问题。然而，对于 SystemML 或 MLlib 等流行的分布式机器学习系统在该优化器下的表现仍存在疑虑。在本工作中，我们将 LARS 优化器应用于使用 SystemML 实现的深度学习模型。我们以多种批量大小进行实验，并将 LARS 优化器与随机梯度下降(Stochastic Gradient Descent)的性能进行比较。实验结果表明，即便在分布式机器学习框架 SystemML 下，对于大批量大小，LARS 优化器也显著优于随机梯度下降。
引用
@article{arxiv.2102.03018,
title = {Evaluating Deep Learning in SystemML using Layer-wise Adaptive Rate Scaling(LARS) Optimizer},
author = {Kanchan Chowdhury and Ankita Sharma and Arun Deepak Chandrasekar},
journal= {arXiv preprint arXiv:2102.03018},
year = {2021}
}