稀疏线性回归——CLuP实现理想的\emph{精确}ML

本文重访经典统计问题之一，即所谓稀疏最大似然（ML）线性回归。作为攻击此类回归的一种方式，我们提出一种新颖的CLuP机制，其在某种程度上依赖于我们近期在\cite{Stojnicclupint19,Stojnicclupcmpl19,Stojnicclupplt19,Stojniccluplargesc20,Stojniccluprephased20}中引入的\bl{\textbf{Random Duality Theory (RDT)}}（随机对偶理论）算法工具。在\cite{Stojnicclupint19,Stojnicclupcmpl19,Stojnicclupplt19}中CLuP于MIMO ML检测中在保持优异计算复杂度相关性质的同时实现了精确ML性能的最初成功之后，人们自然会期望在其它ML考量中也能取得类似成功。我们此文呈现的结果确认了此种期望确为合理。特别地，在稀疏回归语境下，所引入的CLuP机制确实被证明能够\bl{\textbf{\emph{实现理想的ML性能}}}。而且，它能大幅优于某些最著名的早期最先进算法概念，其中包括甚至来自\cite{StojnicPrDepSocp10,StojnicGenLasso10,StojnicGenSocp10}的著名LASSO与SOCP的变体。此外，我们近期在\cite{Stojniccluplargesc20,Stojniccluprephased20}中呈现的结果表明CLuP具有优异的\bl{\textbf{\emph{大规模}}}与所谓\bl{\textbf{\emph{重定相}}}能力。由于此类大规模算法特征在稀疏回归语境中可能更受青睐，我们在此也展示基本CLuP思想可被重新表述，从而以相对容易的方式求解具\bl{\textbf{\emph{数千}}}个未知量的回归问题。