通过缩放改进LASSO

稀疏建模是机器学习和统计学中的主要课题。LASSO（Least Absolute Shrinkage and Selection Operator，最小绝对收缩与选择算子）是一种流行的稀疏建模方法，但已知其会产生意想不到的大偏差，尤其在稀疏表示时。已有若干研究致力于改进此问题，例如引入非凸正则项。关键在于，该偏差问题直接影响应用中的模型选择，因为基于预测误差的模型选择即使面对良好表示也无法选出稀疏表示。在本文中，我们考虑通过引入一种缩放来扩展LASSO估计量以补偿过度收缩，从而改进此问题，即LASSO估计量中的大偏差。我们在此给出缩放量的经验值。该缩放方法有两个优点如下。由于所提缩放值通过使用LASSO估计量计算，我们仅需LASSO估计量，其可由快速稳定的优化过程（如经LASSO修正的LARS（Least Angle Regression，最小角回归）或坐标下降）获得。并且，我们缩放方法的简洁性使我们能在带缩放的修正LASSO估计量下推导SURE（Stein's Unbiased Risk Estimate，斯坦因无偏风险估计）。我们的缩放方法连同基于SURE的模型选择是完全经验性的，且不需要额外的超参数。在一个简单数值例子中，我们验证了我们的缩放方法确实改进了LASSO，且基于SURE的模型选择准则能稳定地选择合适的稀疏模型。