二分类中双下降现象的解析研究：损失函数的影响
机器学习
2020-02-03 v1 信息论
机器学习
信号处理
math.IT
摘要
大量经验证据表明，对于广泛不同的学习方法和数据集，风险曲线作为模型大小的函数呈现出双下降（DD）趋势。在最近的一篇论文 [Zeyu,Kammoun,Thrampoulidis,2019] 中，作者研究了二分类线性模型，并表明使用 logistic 损失的梯度下降（GD）的测试误差经历双下降。本文中，我们将这些结果扩展至使用平方损失的 GD 加以补充。我们表明 DD 现象持续存在，但也识别出与 logistic 损失相比的若干差异。这强调 DD 曲线的关键特征（如过渡阈值与全局最小值）同时依赖于训练数据与学习算法。我们进一步研究 DD 曲线对训练集大小的依赖。与早期工作类似，我们的结果是解析的：我们先推导高斯特征下测试误差的精确渐近式，再绘出 DD 曲线。尽管简单，这些模型允许对 DD 特征进行有原则的研究，其结果在理论上证实了更复杂学习任务中相关的经验发现。
引用
@article{arxiv.2001.11572,
title = {Analytic Study of Double Descent in Binary Classification: The Impact of Loss},
author = {Ganesh Kini and Christos Thrampoulidis},
journal= {arXiv preprint arXiv:2001.11572},
year = {2020}
}