用于稀疏学习的 I-LAMM：算法复杂度与统计误差的同时控制
统计理论
2017-04-06 v3 统计理论
摘要
我们提出了一种名为迭代局部自适应极大化-极小化（I-LAMM）的计算框架，用于在拟合高维模型时同时控制算法复杂度与统计误差。I-LAMM 是对一族折叠凹惩罚拟似然进行局部线性逼近的两阶段算法实现。第一阶段以粗糙的精度容差求解一个凸规划，以获得粗略的初始估计量；第二阶段通过迭代求解一系列具有更小精度容差的凸规划来进一步细化该估计量。在理论上，我们建立了一个相变现象：第一阶段具有次线性迭代复杂度，而第二阶段实现了改进的线性收敛速率。尽管该框架完全是算法性的，但它为一大族非凸优化问题提供了具有最优统计性能且算法复杂度受控的解。通过一个收缩性质清晰地展示了迭代对统计误差的影响。我们的理论依赖于稀疏/受限特征值条件的局部化版本，这使我们能够分析一大族损失与惩罚函数，并在非常弱的假设下提供最优性保证（例如，I-LAMM 所需的最小信号强度远弱于其他方法）。我们提供了详尽的数值结果来支持所获得的理论。
引用
@article{arxiv.1507.01037,
title = {I-LAMM for Sparse Learning: Simultaneous Control of Algorithmic Complexity and Statistical Error},
author = {Jianqing Fan and Han Liu and Qiang Sun and Tong Zhang},
journal= {arXiv preprint arXiv:1507.01037},
year = {2017}
}
备注
66 pages, 5 figures