通过权重归一化改进稀疏编码变分自编码器的训练
机器学习
2021-01-26 v1 神经元与认知
摘要
学习具有稀疏和组合特征的视觉信息生成模型一直是理论神经科学和机器学习领域的挑战。稀疏编码模型在解释哺乳动物初级视觉皮层具有稀疏激活潜在表示的感受野方面取得了巨大成功。在本文中，我们关注于最近提出的模型——稀疏编码变分自编码器（SVAE）（Barello 等，2018），并指出 SVAE 的端到端训练方案导致大量解码滤波器未被充分优化，呈现类噪声感受野。我们提出了若干启发式方法来改进 SVAE 的训练，并表明对解码器施加单位 范数约束对于产生稀疏编码滤波器至关重要。这种归一化可被视为皮层中的局部侧抑制。我们在自然图像块和 MNIST 数据集上实证验证了这一论断，并表明将滤波器投影到单位范数可大幅增加活跃滤波器的数量。我们的结果凸显了权重归一化对于从数据中学习稀疏表示的重要性，并提出了一种在 VAE 学习中减少非活跃潜在分量数量的新途径。
引用
@article{arxiv.2101.09453,
title = {Improved Training of Sparse Coding Variational Autoencoder via Weight Normalization},
author = {Linxing Preston Jiang and Luciano de la Iglesia},
journal= {arXiv preprint arXiv:2101.09453},
year = {2021}
}