关于自编码器表示学习的非参数引导
机器学习
2011-10-27 v4
摘要
无监督的潜在表示发现，除了有助于密度建模、可视化和探索性数据分析外，对于学习与判别任务相关的特征也日益重要。特别是自编码器已被证明是学习反映数据中有意义变化的潜在编码的有效方法。然而，一个持续的挑战是如何引导自编码器产生对特定任务有用的表示。另一个互补的挑战是找到对数据无关变换不变的编码。在自编码器中引入此类特定问题引导的最常见方式是通过一个参数化组件将潜在表示与标签信息联系起来。在这项工作中，我们认为一种更可取的方法依赖于非参数引导机制。从概念上讲，它确保存在一个可以预测标签信息的函数，而无需显式实例化该函数。在两个数据集上证实了这种引导机制的优越性。特别是，该方法能够从小型NORB物体识别数据集中纳入不变性信息（光照、高度等），并在单层非卷积网络上取得了最先进的性能。
引用
@article{arxiv.1102.1492,
title = {On Nonparametric Guidance for Learning Autoencoder Representations},
author = {Jasper Snoek and Ryan Prescott Adams and Hugo Larochelle},
journal= {arXiv preprint arXiv:1102.1492},
year = {2011}
}
备注
9 pages, 12 figures