k-稀疏自编码器
机器学习
2014-03-25 v2
摘要
最近观察到，当以鼓励稀疏性的方式学习表示时，分类任务的性能会得到提升。这些方法涉及激活函数、采样步骤和不同类型惩罚项的组合。为了单独研究稀疏性的有效性，我们提出了 k-稀疏自编码器，这是一种具有线性激活函数的自编码器，其中在隐藏层中仅保留 k 个最高的激活值。当应用于 MNIST 和 NORB 数据集时，我们发现该方法比去噪自编码器、使用 dropout 训练的网络以及 RBM 取得了更好的分类结果。k-稀疏自编码器易于训练，且编码阶段非常快速，使其非常适合传统稀疏编码算法无法应用的大规模问题。
引用
@article{arxiv.1312.5663,
title = {k-Sparse Autoencoders},
author = {Alireza Makhzani and Brendan Frey},
journal= {arXiv preprint arXiv:1312.5663},
year = {2014}
}