SENNS：用于特征提取的稀疏提取神经网络
摘要
通过借鉴优化理论、人工神经网络(ANN)、图嵌入和稀疏表示的思想，我开发了一种名为SENNS（稀疏提取神经网络）的新技术，旨在解决特征提取问题。所提出的方法使用（最好是深层的）ANN将输入属性向量投影到一个输出空间，在该空间中，属于不同类的向量之间的成对距离最大化，而属于同一类的向量之间的成对距离最小化，同时强制ANN输出具有稀疏性。投影得到的向量随后可用作任何分类器的特征。在数学上，我将所提出的方法表述为最小化一个目标函数，该函数在ANN输出空间中可解释为：属于不同类的输出向量之间成对距离平方和的负因子，加上属于同一类的输出向量之间成对距离平方和的正因子，再加上稀疏性和权重衰减项。为了推导通过梯度下降最小化目标函数的算法，我使用链式法则的多变量版本获得函数关于ANN权重和偏置的偏导数，并发现每个所需的偏导数可以表示为六个项的和。事实证明，这六个项中的四个可以使用标准反向传播算法计算；第五个可以通过对标准反向传播算法稍加修改来计算；而第六个可以通过简单算术计算。最后，我提出了在ARABASE阿拉伯语数字和字母语料库、CMU PIE人脸数据库、MNIST数字数据库以及其他标准机器学习数据库上的实验。
引用
@article{arxiv.1412.6749,
title = {SENNS: Sparse Extraction Neural NetworkS for Feature Extraction},
author = {Abdulrahman Oladipupo Ibraheem},
journal= {arXiv preprint arXiv:1412.6749},
year = {2014}
}
备注
Eighteen pages in all, but much of the central ideas are covered in the first five and a half pages; most of the remaining pages are devoted to straightforward mathematical derivations, and the presentation of three algorithms. Manuscript contains no figures at this time