GCWSNet：用于可扩展且准确神经网络训练的广义一致加权采样

我们发展了用于哈希“幂化高斯混合模型”（pGMM）核（带调节参数 $p$）的“广义一致加权采样”（GCWS）。结果表明，无论 $p$ 的大小与数据如何，GCWS 都为原数据施加幂变换提供了一种数值稳定的方案。幂变换常能有效提升性能，且在许多情况下提升显著。我们将哈希后的数据输入多种公开分类数据集上的神经网络，并将该方法命名为“GCWSNet”。大量实验表明，GCWSNet 常能提升分类准确率。此外，实验明显显示 GCWSNet 收敛速度快得多。事实上，GCWS 常能在仅（少于）一个训练轮次内达到合理准确率。该特性非常受欢迎，因为许多应用（如广告点击率（CTR）预测模型或数据流（即数据仅见一次））通常只训练一个轮次。另一有益副作用是，由于输入数据变为二值（且高度稀疏），神经网络第一层的计算由乘法变为加法。我们提供了与（归一化）随机傅里叶特征（NRFF）的经验对比。我们还提出通过 count-sketch 缩减 GCWSNet 的模型规模，并发展了分析 count-sketch 对 GCWS 准确率影响的理论。分析表明，“8-bit”策略表现良好，因为我们总可在 GCWS 哈希输出上施加 8-bit count-sketch 哈希而不明显损害准确率。在训练深度神经网络时，还有许多其他方式可利用 GCWS。例如，可在最后一层输出上施加 GCWS 以提升已训练深度神经网络的准确率。