LASSO中的交叉验证及其加速
信息论
2016-06-22 v2 无序系统与神经网络
统计力学
math.IT
摘要
我们研究留一交叉验证（CV）作为最小绝对收缩与选择算子（LASSO）中惩罚项权重的决定因素。首先，基于消息传递算法以及假设观测数足够大时的微扰讨论，我们提供了用于近似评估两类CV误差的简单公式，这使得我们能够显著减少所需的计算成本。这些公式还提供了CV误差与重构测量值和给定测量值之间的残差平方和之间的简单联系。其次，基于此发现，当设计矩阵在大规模极限下作为简单随机矩阵给出时，我们利用副本方法（replica method）解析地评估CV误差。最后，这些结果与有限尺寸系统数值模拟的结果进行了比较，并被确认是正确的。我们还将第一类CV误差的简单公式应用于超新星的实际数据集。
引用
@article{arxiv.1601.00881,
title = {Cross validation in LASSO and its acceleration},
author = {Tomoyuki Obuchi and Yoshiyuki Kabashima},
journal= {arXiv preprint arXiv:1601.00881},
year = {2016}
}
备注
32 pages, 7 figures