PROXTONE与PROXTONE$^+$用于大规模稀疏模型快速学习的实证研究
机器学习
2016-04-19 v1 人工智能
摘要
PROXTONE是一种用于大规模非光滑凸问题优化\cite{shi2015large}的新颖快速方法。本工作中，我们尝试将PROXTONE方法用于解决大规模非光滑非凸问题，例如用于嵌入式或移动设备的稀疏深度神经网络（稀疏DNN）或稀疏卷积神经网络（稀疏CNN）的训练。PROXTONE比一阶方法收敛快得多，而一阶方法易于推导和控制解的稀疏性。因此在某些应用中，为了快速训练稀疏模型，我们提议结合两种方法的优点，即前几个epoch使用PROXTONE到达最优解邻域，然后使用一阶方法在后续训练中探索稀疏性可能。我们称此方法为PROXTONE plus (PROXTONE)。PROXTONE和PROXTONE均在实验中测试，表明两种方法在不同稀疏模型学习问题上至少将收敛速度提高两倍，同时将DNN模型大小减小至0.5%。所有算法源码可索取。
引用
@article{arxiv.1604.05024,
title = {Empirical study of PROXTONE and PROXTONE$^+$ for Fast Learning of Large Scale Sparse Models},
author = {Ziqiang Shi and Rujie Liu},
journal= {arXiv preprint arXiv:1604.05024},
year = {2016}
}
备注
arXiv admin note: text overlap with arXiv:1311.2115 by other authors