何时可以信任特征选择？-- II：随机数据对统计学和优化中条件数的影响

在第一部分中，我们定义了 LASSO 条件数，并开发了一种算法——用于计算 LASSO 最小化问题的支撑集（特征选择）——该算法在变量数量和条件数对数上以多项式时间运行。该算法是可信的，即如果条件数为无穷大，算法将永远运行且永远不会产生不正确的输出。在本文（第二部分）中，我们展示了当条件数很大但仍有限时，有限精度算法（例如运行浮点算术的算法）如何在开集上失效。这增强了第一部分的结果：如果算法接收来自包含至少一个无限条件数点的开集的输入，它将无法为该集合内的所有输入计算正确的支撑集。因此，对于任何在开集上处理具有随机输入的 LASSO 问题的有限精度算法，我们的 LASSO 条件数——作为一个随机变量——将估计算法成功/失败的概率。我们表明，我们算法的有限精度版本在高概率下适用于 LASSO 的传统高斯数据。该算法是可信的，具体而言，在算法失败的随机情况下，它不会产生输出。最后，我们展示了经典的随机系综，其中条件数以高概率变得很大，因此在这些情况下，任何在开集上的有限精度算法都会失败。我们通过数值演示了商业软件在这些情况下的失效。