抽象深度网络中的稀疏引导特征连接
神经与进化计算
2014-12-17 v1
摘要
我们提出了一种开发重用特征网络的技术，其中拓扑结构通过一种称为抽象深度网络（Abstract Deep Network, ADN）的粗粒度学习方法形成，并允许梯度下降微调。新特征基于观测到的共现关系构建，网络则通过一种与进化算法相关的选择过程进行维护。这使得能够对问题空间进行粗粒度探索，特别适用于不规则域，而梯度下降则能提供精确解。在标准 UCI 数据集和蛋白质结构预测问题上的准确率与基准支持向量机（SVM）及优化的基于遗传机器学习（GBML）方法相当，并显示出解决大规模问题的可扩展性。离散实现是符号化的，具有可解释性，而使用微调的连续方法则显示出更高的准确率。我们探讨了二进制多路复用器问题，作为一个不支持梯度下降学习的不规则域，展示了对基准 135 位问题的解决方案。此外，我们在图像分类上演示了卷积实现，在无需预定义拓扑的情况下，于 MNIST 问题上取得了 0.79% 的错误率。ADN 系统提供了一种基于特征间观测关系开发极稀疏深度特征拓扑的方法，能够在不规则域中寻找解，并在梯度下降学习之前初始化网络。
引用
@article{arxiv.1412.4967,
title = {Sparse, guided feature connections in an Abstract Deep Network},
author = {Anthony Knittel and Alan Blair},
journal= {arXiv preprint arXiv:1412.4967},
year = {2014}
}