经验风险最小化者与风险单调性
机器学习
2020-03-16 v4 机器学习
摘要
将学习器的平均性能对其训练样本数量作图可得到学习曲线。在一个或多个数据集上研究此类曲线，是更好理解该学习器泛化性质的一种途径。然而，学习曲线的行为尚未被很好理解，并且可以展现出（对大多数研究者而言）相当出乎意料的行为。我们的工作引入了风险单调性（risk monotonicity）的形式化概念，其要求在对训练样本取期望时风险不随训练集规模增大而恶化。随后我们给出了一个令人惊讶的结果：各种标准学习器，特别是那些最小化经验风险的学习器，无论训练样本规模如何，都可能表现出非单调行为。我们为来自分类、回归和密度估计的具体实例提供了理论支撑。总体而言，所提出的单调性概念开辟了一个全新的研究方向。
引用
@article{arxiv.1907.05476,
title = {Minimizers of the Empirical Risk and Risk Monotonicity},
author = {Marco Loog and Tom Viering and Alexander Mey},
journal= {arXiv preprint arXiv:1907.05476},
year = {2020}
}
备注
New version fixes some minor issues especially in the proof of Theorem 1