基于神经正切核的随机边际似然梯度

在深度学习中，超参数的选择极大影响其效果，但需要人工投入与专业知识。近期工作表明，基于拉普拉斯近似的贝叶斯模型选择能够像优化标准神经网络参数一样，利用梯度在训练数据上优化此类超参数。然而，估计单个超参数梯度需要遍历整个数据集，限制了此类算法的可扩展性。在本工作中，我们通过引入边际似然线性化拉普拉斯近似的下界来克服该问题。与以往的估计量不同，这些下界适用于基于随机梯度的优化，并允许在估计精度与计算复杂度之间进行权衡。我们利用线性化拉普拉斯的函数空间形式推导这些下界，该形式可使用神经正切核进行估计。在实验中，我们表明这些估计量能够显著加速基于梯度的超参数优化。