将神经网络参数初始化归约为 SMT 问题
机器学习
2020-11-10 v3 计算复杂性
机器学习
摘要
训练神经网络（NN）依赖于多种因素，包括但不限于初始权重。在本文中，我们专注于初始化深度 NN 参数，使其相较于随机或零初始化表现更好。我们通过将初始化过程归约为一个 SMT 求解器来实现这一点。先前的工作考虑小神经网络上的特定激活函数，然而所研究的 NN 是具有不同激活函数的深度网络。我们的实验表明，所提出的参数初始化方法相较于随机初始化的网络取得了更好的性能。
引用
@article{arxiv.2011.01191,
title = {Reducing Neural Network Parameter Initialization Into an SMT Problem},
author = {Mohamad H. Danesh},
journal= {arXiv preprint arXiv:2011.01191},
year = {2020}
}
备注
AAAI-21 SA Program