线性回归模型中的变量选择：最优子集并非总是最佳选择

线性回归设定下的变量选择是一个被广泛讨论的问题。最优子集选择（BSS）常被视为直观的“黄金标准”，其使用仅受限于其NP困难性质。诸如最小绝对收缩与选择算子（Lasso）或弹性网（Enet）等替代方法已成为高维设定中的首选方法。近期一项提案将BSS表示为混合整数优化问题，使得远更大型的问题可在合理计算时间内求解。我们提出一项广泛的中立比较，评估线性回归中BSS相对于前向逐步选择（FSS）、Lasso和Enet的变量选择表现。该模拟研究考虑了在维度（关于观测数与变量数）、信噪比以及预测变量间相关性方面具有挑战性的广泛设定。作为表现的主要度量，我们对每种方法使用最佳可能的F1分数，以确保不依赖于任何调参准则的公平比较，结果由替代表现度量确认。有些令人意外的是，仅在信噪比高且变量（近似）不相关的设定中，BSS才可靠地优于其他方法，即便在低维设定下亦是如此。此外，FSS的表现与BSS几乎相同。我们的结果对BSS原则上为变量选择最佳选择的通常预设提出了新见解。尤其对于相关变量，像Enet这样的替代方法更快，且在实际设定中表现似乎更好。