中文

基于 fl RDT 的负球面感知器容量的终极降低

机器学习 2023-12-29 v1 无序系统与神经网络 信息论 机器学习 math.IT 概率论

摘要

我们考虑经典的\emph{球面}感知器并研究其容量。著名的零阈值情形已于上世纪六十年代解决(见 \cite{Wendel62,Winder,Cover65}),其通过高维组合考量实现。然而,一般阈值 κ\kappa 的情形被证明要困难得多,并在随后的几十年中一直无法解决。随后在 \cite{SchTir02} 和 \cite{StojnicGardGen13} 中取得了实质性进展,最终完全解决了\emph{正}阈值(κ0\kappa\geq 0)情形。虽然负对应情形(κ0\kappa\leq 0)仍无法解决,但 \cite{StojnicGardGen13} 表明随机对偶理论 (RDT) 仍然足够强大,可提供极佳的上界。此外,在 \cite{StojnicGardSphNeg13} 中考虑了\emph{部分提升}的 RDT 变体,并表明可以降低 \cite{StojnicGardGen13} 的上界。在最近研究双线性索引 (bli) 随机过程取得突破 \cite{Stojnicsflgscompyx23,Stojnicnflgscompyx23} 之后,\emph{完全提升}随机对偶理论 (fl RDT) 在 \cite{Stojnicflrdt23} 中得以发展。我们在此首先证明\emph{负球面感知器}可以纳入 fl RDT 框架,然后利用整个 fl RDT 机制来刻画容量。为了完全具备实际操作性,fl RDT 需要大量的数值工作。然而,我们发现了关键提升参数之间显著的闭式解析关系。这一发现使得能够执行所需的数值计算以获得具体的容量值。我们还观察到,在\emph{平稳化}完全提升的第三层(第二个非平凡层)就已经实现了极好的收敛性(相对改进 0.1%\sim 0.1\%)。

关键词

引用

@article{arxiv.2312.16531,
  title  = {Fl RDT based ultimate lowering of the negative spherical perceptron capacity},
  author = {Mihailo Stojnic},
  journal= {arXiv preprint arXiv:2312.16531},
  year   = {2023}
}

备注

arXiv admin note: text overlap with arXiv:2312.00073