学习理论中的弹性网络正则化

在统计学习理论的框架下，我们详细分析了由 Zou 和 Hastie 提出的用于选择相关变量组的所谓弹性网络正则化方案。为了研究该方案的统计性质，特别是其一致性性质，我们建立了一个合适的数学框架。我们的设定是随机设计回归，其中允许响应变量为向量值，并考虑预测函数是无限维字典中元素（特征）的线性组合。在回归函数在字典上具有稀疏表示的假设下，我们证明了存在一个特定的回归函数“弹性网络表示”，使得当数据量增加时，弹性网络估计量不仅在预测上一致，而且在变量/特征选择上也一致。我们的结果包括有限样本界和一个用于选择正则化参数的自适应方案。此外，利用凸分析工具，我们推导出一种用于计算弹性网络解的迭代阈值算法，该算法不同于 Zou 和 Hastie 最初提出的优化过程。