通过树骨架扩展学习稀疏深度前馈网络
机器学习
2018-03-19 v1
摘要
尽管深度学习广受欢迎，但深度模型的结构学习仍是一个相对未充分探索的领域。相比之下，概率图模型（PGMs）的结构学习已被广泛研究。特别是，针对学习一类称为分层潜在树模型（HLTMs）的树结构 PGMs，已开发出高效算法，其中底层为观测变量层，上方为多层潜在变量。本文提出一种基于 HLTMs 学习前馈神经网络（FNNs）结构的简单方法。其核心思想是扩展 HLTMs 中的树骨架连接，并将所得结构用于 FNNs。以此方式学习到的 FNN 结构的一个重要特征是其稀疏性。我们给出大量实验结果表明，与手动调参的标准 FNNs 相比，由我们方法学习到的稀疏 FNNs 以少得多的参数实现了更好或相当的分类性能，且更具可解释性。
引用
@article{arxiv.1803.06120,
title = {Learning Sparse Deep Feedforward Networks via Tree Skeleton Expansion},
author = {Zhourong Chen and Xiaopeng Li and Nevin L. Zhang},
journal= {arXiv preprint arXiv:1803.06120},
year = {2018}
}
备注
7 pages