基于 $\ell_{1}$ 正则化的稀疏 Hopfield 网络重构

我们提出了一种有效的策略，基于通过 Glauber 采样测量的磁化强度和成对相关性来推断稀疏 Hopfield 网络。该策略通过对数似然的二次近似将 $\ell_{1}$ 正则化纳入 Bethe 近似中，并能够在无正则化的情况下进一步降低 Bethe 近似的推断误差。观察到最优正则化参数的量级为 $M^{-\nu}$，其中 $M$ 是独立样本的数量。标度指数的值取决于性能度量。对于均方根误差度量，$\nu\simeq0.5001$，而对于误分类率度量，$\nu\simeq0.2743$。该策略的有效性在稀疏 Hopfield 模型中得到了证明，但该方法通常适用于其他稀释平均场模型。特别是，其实现简单且无需高昂的计算成本。