如何通过字典学习训练深度神经网络
机器学习
2016-12-23 v1 机器学习
摘要
目前训练深度神经网络主要有两种方法。第一种使用受限玻尔兹曼机 (RBM)，第二种使用自编码器。将 RBM 逐层堆叠形成深度信念网络 (DBN)；将最终表示层连接到目标以完成深度神经网络。自编码器相互嵌套形成堆叠自编码器；一旦堆叠自编码器学习完成，便分离解码器部分，并将目标连接到编码器的最深层以形成深度神经网络。本工作提出了一种使用字典学习作为基本构建块来训练深度神经网络的新方法；其思想是将较浅层的特征作为训练下一个更深层的输入。在倒数第二层之前，可以使用任何类型的字典学习（无监督、有监督、判别性等）作为基本单元。在最后一层，需要使用标签一致字典学习公式进行分类。我们在基准问题上将我们提出的框架与现有的最先进深度学习技术进行了比较；我们的结果始终位于前 10 名。在实际的年龄和性别分类问题中，我们优于已知最佳的技术。
引用
@article{arxiv.1612.07454,
title = {How to Train Your Deep Neural Network with Dictionary Learning},
author = {Vanika Singhal and Shikha Singh and Angshul Majumdar},
journal= {arXiv preprint arXiv:1612.07454},
year = {2016}
}
备注
DCC 2017 poster