过参数化求和-乘积网络的优化
机器学习
2019-05-30 v2 机器学习
摘要
一种看似常识的观点认为，与浅层混合模型相比，深层求和-乘积网络中的参数学习速度快得惊人。本文考察求和-乘积网络中过参数化对参数优化速度的影响。通过理论分析与经验实验，我们表明深层求和-乘积网络相比其浅层对应物表现出一种隐式加速。事实上，在深层树结构求和-乘积网络中基于梯度的优化等价于带有自适应时变学习率和附加动量项的梯度上升。
引用
@article{arxiv.1905.08196,
title = {Optimisation of Overparametrized Sum-Product Networks},
author = {Martin Trapp and Robert Peharz and Franz Pernkopf},
journal= {arXiv preprint arXiv:1905.08196},
year = {2019}
}
备注
Workshop on Tractable Probabilistic Models (TPM) at ICML 2019