对称二值感知机中的非典型解

我们研究随机二值对称感知机问题，重点关注稀有高间隔解的行为。虽然大多数解是孤立的，但我们证明这些稀有解属于具有广延熵的簇，启发式地对应于近似消息传递算法的非平凡不动点。我们通过局部熵（定义为 Franz-Parisi 势）来枚举这些簇，并在约束密度 $\alpha$ 较小（对应于间隔 $\kappa$ 趋于零）的极限下，基于关于熵集中的某一假设，使用一阶与二阶矩方法严格计算该势。这一考察揭示了若干有趣现象：i) 我们证明这些簇存在熵势垒，即相对于参考高间隔解的距离的熵函数在 $\kappa \le 1.429 \sqrt{-\alpha/\log{\alpha}}$ 时非单调，否则单调；并且它们存在能势垒，即在 $\kappa \le 1.239 \sqrt{-\alpha/ \log{\alpha}}$ 时参考解的中间距离处不存在解。间隔 $\kappa$ 在 $\sqrt{-\alpha/\log\alpha}$ 下的临界标度对应于 Gamarnik 等人（2022）先前工作中针对重叠间隙性质所得的结果，该性质已知会对某些高效算法构成障碍。ii) 我们利用副本方法证明，复杂度（此类解簇数的对数）对熵（簇中解数的对数）曲线部分非凹，并对应于非常大的 Parisi 参数值，且当 Parisi 参数发散时达到平衡。