利用堆叠线性降噪器实现快速特征学习
机器学习
2012-08-17 v1 人工智能
机器学习
摘要
我们研究了深度架构的无监督预训练，将其作为“浅层”分类器的特征生成器。堆叠降噪自编码器 (SdA) 在用作 SVM 分类的特征预处理工具时，可以显著提高准确率——然而，代价是计算成本大幅增加。在本文中，我们创建了一个简单算法，该算法模仿了 SdA 的逐层训练方式。但与 SdA 不同的是，我们的算法无需通过梯度下降进行训练，因为其参数可以通过闭式解计算。它可以在不到 20 行 MATLAB 代码中实现，并将计算时间从数小时缩短到仅需几秒。我们证明，我们的特征变换在所有数据集上都能可靠地显著改善 SVM 分类的结果——在四个深度学习基准测试中的三个上，其性能常常优于 SdA，甚至优于深度神经网络。
引用
@article{arxiv.1105.0972,
title = {Rapid Feature Learning with Stacked Linear Denoisers},
author = {Zhixiang Eddie Xu and Kilian Q. Weinberger and Fei Sha},
journal= {arXiv preprint arXiv:1105.0972},
year = {2012}
}
备注
10 pages