具有随机二值权重的二值自编码器

本文给出了一种具有二值激活 $\{0, 1\}$ 和二值 $\{0, 1\}$ 随机权重的自编码器的分析。这种设置使该模型处于不同领域的交叉点：神经科学、信息论、稀疏编码和机器学习。研究表明，隐藏层的稀疏激活为了在各层间保留信息而自然涌现。此外，在隐藏层足够大的情况下，仅通过改变神经元阈值即可对任意输入实现零重构误差。该模型在隐藏层处保留了输入的相似性，且在密集隐藏层激活时达到最大。通过分析层间互信息，表明稀疏表示与密集表示之间的差异与记忆-计算权衡有关。该模型类似于果蝇的嗅觉感知系统，所提出的理论结果为理解更复杂的神经网络提供了有益的见解。