自编码器学习生成式线性模型
机器学习
2019-02-18 v3 机器学习
摘要
我们给出了一系列关于使用自编码器进行无监督学习的结果。具体而言，我们研究具有共享权重的浅层两层自编码器架构。我们关注统计机器学习中三种常见的数据生成模型：(i) 高斯混合模型，(ii) 稀疏编码模型，以及 (iii) 具有非负系数的稀疏性模型。对于每种模型，我们证明在适当的超参数、架构和初始化选择下，通过梯度下降学习的自编码器能够成功恢复相应模型的参数。据我们所知，这是首个严格研究权重共享自编码器的梯度下降动态的结果。我们的分析可被视为理论证据，表明浅层自编码器模块确实可用作多种数据模型的特征学习机制，并可能有助于深入理解如何训练以自编码器为基本构建模块的大型堆叠架构。
引用
@article{arxiv.1806.00572,
title = {Autoencoders Learn Generative Linear Models},
author = {Thanh V. Nguyen and Raymond K. W. Wong and Chinmay Hegde},
journal= {arXiv preprint arXiv:1806.00572},
year = {2019}
}
备注
Experimental study on synthesis data added. Typos fixed