通过 StochasticNets 实现高效深度特征学习与提取
机器学习
2015-12-15 v1 机器学习
摘要
深度神经网络因其能够在高度复杂的数据中建模高层抽象,是特征学习与提取的有力工具。在使用深度神经网络进行特征学习与提取时,一个值得探索的方向是通过高效的神经连接形成来实现更快的特征学习与提取。受大脑中随机突触连接形成的发现以及大脑高效表示信息的神秘能力启发,我们提出了通过 StochasticNets 实现特征的高效学习与提取,其中可通过神经元之间的随机连接形成稀疏连接的深度神经网络。为评估此种深度神经网络架构用于特征学习与提取的可行性,我们训练深度卷积 StochasticNets 以使用 CIFAR-10 数据集学习抽象特征,并从图像中提取所学特征以在 SVHN 和 STL-10 数据集上执行分类。实验结果表明,使用深度卷积 StochasticNets 学习的特征(其神经连接少于常规深度卷积神经网络)能够取得优于或可与常规深度神经网络相媲美的分类准确率:在 STL-10 数据集上分类的相对测试误差降低约 4.5%,在 SVHN 数据集上降低约 1%。此外,研究表明,即使仅使用 10% 的训练数据进行特征学习,使用深度卷积 StochasticNets 提取的深度特征仍能提供可比的分类准确率。最后,还表明在嵌入式应用中使用 StochasticNets 可实现特征提取速度的显著提升。因此,StochasticNets 在实现更快的特征学习与提取性能的同时,有助于获得更优或相当的准确性表现。
引用
@article{arxiv.1512.03844,
title = {Efficient Deep Feature Learning and Extraction via StochasticNets},
author = {Mohammad Javad Shafiee and Parthipan Siva and Paul Fieguth and Alexander Wong},
journal= {arXiv preprint arXiv:1512.03844},
year = {2015}
}
备注
10 pages. arXiv admin note: substantial text overlap with arXiv:1508.05463