基于 $\ell_2$ 正则化线性估计的逆伊辛问题结构学习

在采用 $\ell_2$ 正则化（岭）线性回归的逆伊辛问题框架下，讨论了伪似然方法的推断性能。该设定用于从理论上考察数据生成模型与推断模型不同的情况，即模型失配情形。在教师-学生场景中，假设教师耦合是稀疏的，利用复本法与空腔法进行分析，重点关注教师耦合的存在与否能否被正确推断。结果表明，尽管存在模型失配，当自旋数 $N$ 小于数据集大小 $M$ 时，在热力学极限 $N\to \infty$ 下，可使用无正则化的朴素线性回归完美识别网络结构。进一步，为进入欠定区域 $M < N$，我们考察了 $\ell_2$ 正则化的影响，发现所有耦合估计均出现偏置，阻碍了网络结构的完美识别。然而，我们发现这些偏置随伪似然方法中选定的中心自旋距离增大而呈指数级快速衰减。基于该发现，我们提出一种两阶段估计器：第一阶段使用岭回归，并以相对较小的阈值对估计值进行剪枝；第二阶段仅对剩余耦合进行朴素线性回归，并以另一相对较大的阈值再次剪枝。该具有适当正则化系数与阈值的估计器被证明即使在 $0<M/N<1$ 下也能实现网络结构的完美识别。大量数值实验结果支持了这些发现。