一般M估计量的非渐近迭代对数律
统计理论
2019-05-27 v2 机器学习
统计理论
摘要
M估计量在机器学习和统计学习理论中无处不在。它们既用于定义预测策略，也用于评估其精度。在本文中，我们提出了针对一般M估计量的首个非渐近“任意时刻”偏差界，其中“任意时刻”是指该界以指定概率对每一个样本量都成立。这些界是迭代对数律的非渐近版本。它们是在损失函数Lipschitz连续性和总体风险（局部）曲率等一般假设下建立的。这些条件对机器学习中使用的大多数例子都成立，包括那些确保对离群值和重尾分布具有鲁棒性的例子。作为应用示例，我们考虑了参数随机多臂老虎机设置中的最佳臂识别问题。我们表明，所建立的界可转化为一种新算法，该算法具有可证明的最优理论保证。文中报告了说明该算法有效性的数值实验。
引用
@article{arxiv.1903.06576,
title = {A nonasymptotic law of iterated logarithm for general M-estimators},
author = {Victor-Emmanuel Brunel and Arnak S. Dalalyan and Nicolas Schreuder},
journal= {arXiv preprint arXiv:1903.06576},
year = {2019}
}