具有线性抑制的稀疏码形成

初级视觉皮层 (V1) 中的稀疏码形成启发了许多最先进的视觉识别系统。为了激发这种行为，网络在稀疏性或选择性的数学约束下进行训练。在本文中，作者利用了一种在特征学习网络中使用横向互连的新方法。然而，我们不是在神经元之间添加直接的横向互连，而是在正常编码层之后立即引入一个抑制层。这一想法克服了横向网络在计算成本和复杂性方面的挑战，同时保留了稀疏码形成的关键目标。为了展示这一想法，我们使用稀疏自编码器作为正常编码层并应用抑制层。在视觉识别中的早期实验表明，与传统方法相比，在 CIFAR-10 数据集上取得了相对改进。此外，使用 Hebbian 规则的简单安装和训练过程允许将抑制层集成到现有网络中，从而能够进行未来的进一步分析。