赢家通吃自编码器
机器学习
2015-06-09 v2 神经与进化计算
摘要
在本文中，我们提出了一种以无监督方式学习分层稀疏表示的赢家通吃 (winner-take-all) 方法。我们首先引入了全连接赢家通吃自编码器，它利用小批量统计量直接强制隐藏单元激活中的生命周期稀疏性。随后，我们提出了卷积赢家通吃自编码器，它结合了卷积架构和自编码器的优势，用于学习平移不变的稀疏表示。我们描述了一种逐层训练卷积自编码器的方法，其中除了生命周期稀疏性外，还利用赢家通吃激活函数在每个特征图中实现了空间稀疏性。我们将展示，赢家通吃自编码器可用于从 MNIST、CIFAR-10、ImageNet、Street View House Numbers 和 Toronto Face 数据集中学习深度稀疏表示，并取得具有竞争力的分类性能。
引用
@article{arxiv.1409.2752,
title = {Winner-Take-All Autoencoders},
author = {Alireza Makhzani and Brendan Frey},
journal= {arXiv preprint arXiv:1409.2752},
year = {2015}
}