空间耦合神经网络架构
机器学习
2019-07-04 v1 信息论
math.IT
机器学习
摘要
本工作中，我们利用稀疏编码技术的进展来减少全连接神经网络中可训练参数的数量。尽管文献中多数工作采用 正则化、DropOut 或 DropConnect 技术来诱导稀疏性，我们的方案将特征重要性作为标准，以在网络中高效分配可训练参数（资源）。即便确保了稀疏性， 正则化仍需在深度神经网络的所有资源上训练。DropOut/DropConnect 技术在训练阶段通过丢弃隐藏层中随机的神经元/边集合来减少可训练参数，但这两类技术在丢弃神经元/边时均未顾及数据中的底层结构。此外，这些框架所需的存储空间等同于全连接神经网络的参数数量。我们受空间耦合稀疏构造启发，以更具结构的架构解决了上述问题。所提架构被证明具有类似于带 dropout 的常规全连接神经网络的性能，同时实现了训练参数 的削减。文中给出了大量仿真，并将所提方案性能与传统神经网络架构进行比较。
引用
@article{arxiv.1907.02051,
title = {Spatially-Coupled Neural Network Architectures},
author = {Arman Hasanzadeh and Nagaraj T. Janakiraman and Vamsi K. Amalladinne and Krishna R. Narayanan},
journal= {arXiv preprint arXiv:1907.02051},
year = {2019}
}