MQGrad：参数服务器中梯度量化的强化学习
机器学习
2018-04-25 v1 机器学习
摘要
在参数服务器（PS）上训练大规模机器学习模型时，最显著的瓶颈之一是通信开销，因为在训练迭代中需要频繁在worker与server之间交换模型梯度。梯度量化已被提出作为降低通信量的有效方法。梯度量化的一个关键问题是设定量化梯度所用比特数。较少的比特数可显著减少通信开销但损害梯度精度，反之亦然。理想的量化方法将根据从近期训练迭代中学到的知识，动态调整比特数以平衡通信开销与模型精度。然而，现有方法要么以固定比特数量化梯度，要么使用预定义的启发式规则。本文中，我们在强化学习框架内提出一种新颖的自适应量化方法。该方法称为MQGrad，将量化比特数的选择形式化为马尔可夫决策过程（MDP）中的动作，其中MDP状态记录从过去优化迭代中收集的信息（例如损失函数值的序列）。在机器学习算法的训练迭代期间，MQGrad根据损失函数的变化持续更新MDP状态。基于该信息，MDP学习选择最优动作（比特数）来量化梯度。基于基准数据集的实验结果表明，MQGrad能在保持预测精度的同时加速大规模深度神经网络的学习。
引用
@article{arxiv.1804.08066,
title = {MQGrad: Reinforcement Learning of Gradient Quantization in Parameter Server},
author = {Guoxin Cui and Jun Xu and Wei Zeng and Yanyan Lan and Jiafeng Guo and Xueqi Cheng},
journal= {arXiv preprint arXiv:1804.08066},
year = {2018}
}
备注
7 pages, 5 figures