通过边际似然最大化引导神经网络初始化
机器学习
2020-12-21 v1 机器学习
摘要
我们提出了一种简单、数据驱动的方法来帮助引导神经网络初始化的超参数选择。我们利用具有相应激活函数与协方差函数的神经网络与高斯过程模型之间的关系，来推断模型初始化所需的超参数值。我们的实验表明，在实验约束下，边际似然最大化所提供的推荐能在 MNIST 分类任务上产生接近最优的预测性能。此外，我们的实证结果表明所提出技术具有一致性，意味着该过程的计算成本可通过更小的训练集显著降低。
引用
@article{arxiv.2012.09943,
title = {Guiding Neural Network Initialization via Marginal Likelihood Maximization},
author = {Anthony S. Tai and Chunfeng Huang},
journal= {arXiv preprint arXiv:2012.09943},
year = {2020}
}