$\ell_u(\ell_q)$球上高维双重稀疏结构的极小极大速率

本文关注高维双重稀疏结构，其中感兴趣的参数同时鼓励组间稀疏性与组内逐元素稀疏性。通过结合 Gilbert-Varshamov 界及其变体，我们针对 $u,q \in [0,1]$ 时 $\ell_u(\ell_q)$ 球上的双重稀疏结构，发展了一种专为参数空间度量熵设计的新型下界技术。利用所提下界技术与 Fano 不等式，我们通过信息论方法证明了估计误差的下界。为补充下界，我们通过约束最小二乘估计量的直接分析并利用经验过程的结果，建立了匹配的上界。本研究的一个重要发现是，在 $u,q \in (0, 1]$ 时极小极大速率中存在相变现象。此外，我们将理论结果推广到双重稀疏回归模型，并确定了其估计误差的极小极大速率。为处理双重稀疏线性回归，我们开发了 DSIHT（双重稀疏迭代硬阈值）算法，证明了其在极小极大意义下的最优性。最后，我们通过数值实验证明了所提方法的优越性。