通过学习分层目标理解深度网络中的隐藏层信息
神经与进化计算
2016-09-27 v2 机器学习
摘要
本文提出了一种深度神经网络架构，其带有隐藏层分支，这些分支学习比最终层目标层级更低的目标。这些分支为在隐藏层中强制注入有用信息提供了通道，有助于提升最终层和隐藏层的精度。共享层使用高于分支层的所有代价函数的梯度来修改其权重。该模型提供了一种具有多层级目标的灵活推理系统，它是模块化的，并且可高效用于需要根据复杂度提供不同层级结果的场景。本文将该思想应用于 20 Newsgroups 数据集上的文本分类任务，采用两级分层目标，并与不使用隐藏层分支的训练进行了比较。
引用
@article{arxiv.1505.00384,
title = {Making Sense of Hidden Layer Information in Deep Networks by Learning Hierarchical Targets},
author = {Abhinav Tushar},
journal= {arXiv preprint arXiv:1505.00384},
year = {2016}
}
备注
Updated to add a note with commentary on original (v1) submission