Grad Queue：强化稀疏梯度的概率框架

信息丰富的梯度通常在大批量更新中丢失。我们提出了一种鲁棒机制来强化随机数据点批次内的稀疏成分。使用在线梯度的有限队列来确定其预期的瞬时统计量。我们提出了一个函数来利用这些统计量测量传入梯度的稀缺性，并建立了该机制的理论基础。为了最小化大型小批量内的冲突成分，通过基于内在特征空间的聚类将样本与对齐的目标进行分组。对每个质心测量稀疏性并据此加权。从每个聚类中挤出冗余信息的强直观准则是该系统的骨干。它使稀有信息对激进的动量不敏感，同时在更大的小批量范围上也表现出卓越的性能。队列的有效长度保持可变以遵循局部损失模式。我们方法的贡献在于恢复小批量内部的多样性，同时拓宽最优批次边界。这两者共同驱动其更深地趋向极小值。与 mini-batch 梯度下降相比，我们的方法在 CIFAR10、MNIST 和 Reuters News 类别数据集上表现出卓越的性能。