AskewSGD：一种用于训练量化神经网络的退火区间约束优化方法
机器学习
2022-12-21 v2 机器学习
摘要
在本文中，我们开发了一种新算法，退火偏斜 SGD（Annealed Skewed SGD，AskewSGD），用于训练具有量化权重的深度神经网络（DNNs）。首先，我们将量化神经网络（QNNs）的训练表述为一系列平滑的区间约束优化问题。然后，我们提出一种新的首阶随机方法 AskewSGD 来求解每个约束优化子问题。与使用活动集和可行方向的算法不同，AskewSGD 避免了投影或在整个可行集下的优化，并允许不可行的迭代点。AskewSGD 的数值复杂度与现有的 QNN 训练方法相当，例如 BinaryConnect 中使用的直通梯度估计器，或其他最先进的方法（ProxQuant、LUQ）。我们建立了 AskewSGD 的收敛保证（在目标函数的一般假设下）。实验结果表明，AskewSGD 算法在经典基准测试中优于或与最先进的方法持平。
引用
@article{arxiv.2211.03741,
title = {AskewSGD : An Annealed interval-constrained Optimisation method to train Quantized Neural Networks},
author = {Louis Leconte and Sholom Schechtman and Eric Moulines},
journal= {arXiv preprint arXiv:2211.03741},
year = {2022}
}