关于(随机化)成对均值的中位数的研究
机器学习
2022-11-02 v1 机器学习
摘要
Lugosi & Mendelson (2016) 最近提出的锦标赛方法，至少从理论角度看，为机器学习中的经验风险最小化原则提供了一个有吸引力的替代方案。基于均值中位数(Median-of-Means, MoM)的统计学习基本上包括将训练数据分割成等大小的块，并在每个数据块上比较每对候选决策规则统计性能：在多数块上性能最高者被宣布为胜者。在非参数回归背景下，已证明在所有对决中获胜的函数在最小假设下相对于均方误差优于经验风险最小化器，同时表现出鲁棒性。本文旨在扩展该方法以解决其他学习问题，特别是性能准则采取成对观测而非单个观测的期望形式的情况，如成对排序、聚类或度量学习中可能遇到的那样。确切地说，本文证明了当块通过独立无放回抽样方案而非简单分割构建时，MoM 所达到的界基本得以保持。这些结果随后被扩展到风险与成对损失函数相关且其经验对应项呈 -统计量形式的情况。除保证所提出学习/估计方法性能的理论结果外，一些数值实验提供了其在实践中相关性的经验证据。
引用
@article{arxiv.2211.00603,
title = {On Medians of (Randomized) Pairwise Means},
author = {Pierre Laforgue and Stephan Clémençon and Patrice Bertail},
journal= {arXiv preprint arXiv:2211.00603},
year = {2022}
}