基于 $\ell_{1}$ 正则化线性回归的伊辛模型选择：一种统计力学分析

我们利用统计力学中的复本方法，从理论上分析了用于伊辛模型选择的 $\ell_{1}$ 正则化线性回归（$\ell_1$-LinR）的典型学习性能。对于顺磁相中的典型随机正则图，获得了 $\ell_1$-LinR 典型样本复杂度的精确估计。值得注意的是，尽管存在模型误设，$\ell_1$-LinR 仍具有模型选择一致性，其样本复杂度阶数与 $\ell_{1}$ 正则化逻辑回归（$\ell_1$-LogR）相同，即 $M=\mathcal{O}\left(\log N\right)$，其中 $N$ 为伊辛模型的变量数。此外，我们提供了一种高效方法，可精确预测中等 $M, N$ 下 $\ell_1$-LinR 的非渐近行为，如精确率与召回率。仿真表明，理论预测与实验结果相当吻合，即使对含多个环的图亦如此，这支持了我们的发现。尽管本文主要关注 $\ell_1$-LinR，我们的方法也易于推广用于精确刻画包括 $\ell_1$-LogR 与相互作用筛选在内的广泛 $\ell_{1}$ 正则化 $M$-估计量的典型学习性能。