学习稀疏 Ising 模型的偏置随机优化收敛速率
机器学习
2018-11-16 v1 机器学习
摘要
我们研究了仅能获得梯度偏置估计时，精确（NP-hard）目标的随机优化收敛速率。我们在学习 Ising 模型结构和参数的背景下提出了这一问题。首先，我们对前向后向分裂法（FBS）的确定性误差进行了收敛速率分析。随后，我们将分析扩展至偏置随机误差，通过刻画一类采样器并提供高概率界，从而不仅适用于 FBS，也适用于近端梯度（PG）方法。我们得出了一些有趣的结论：FBS 仅需对数级增长的随机样本数量即可收敛（尽管速率非常低）；对于 FBS 和基本 PG 方法，确定性设置与偏置随机设置所需的随机样本数量相同；加速 PG 方法在偏置随机设置下无法保证收敛。
引用
@article{arxiv.1206.4627,
title = {Convergence Rates of Biased Stochastic Optimization for Learning Sparse Ising Models},
author = {Jean Honorio},
journal= {arXiv preprint arXiv:1206.4627},
year = {2018}
}
备注
ICML2012