LASSO和Dantzig Selector的直推版本

我们考虑线性回归问题，其中协变量数量$p$可能大于观测值数量$n$（$(x_{i},y_{i})_{1\leq i \leq n}$），并在稀疏性假设下进行研究。一方面，已有多种方法被成功提出用于执行此任务，例如LASSO或Dantzig Selector。另一方面，考虑新值$(x_{i})_{n+1\leq i \leq m}$。如果想估计相应的$y_{i}$，应考虑一个专门用于此任务的特定估计量，Vapnik称之为“直推”估计量。该估计量可能不同于为更一般任务“在整个域上估计”而设计的估计量。在这项工作中，基于先前工作中关于LASSO的几何观察，我们提出了LASSO和Dantzig Selector的广义版本。“通常的”LASSO和Dantzig Selector，以及被解释为LASSO直推版本的新估计量，都是其特例。这些估计量至少从理论角度来看是有趣的：我们可以在比关于“通常”LASSO的论文中所要求的假设更宽松的假设下，为这些估计量提供理论保证。这些估计量也可以被高效计算，其结果与LASSO的结果相当。