模态回归的统计学习方法
机器学习
2020-01-20 v4 统计理论
统计方法学
统计理论
摘要
本文从统计学习的视角系统地研究了非参数模态回归问题。最初源于寻求对基于最大相关熵准则的回归（MCCR）的理论理解，我们的研究揭示出具有趋于零尺度参数的MCCR本质上是模态回归。我们表明非参数模态回归问题可通过经典的经验风险最小化来逼近。随后作出若干努力以建立分析和实现模态回归的框架。例如，描述了模态回归函数，明确定义了模态回归风险并刻画了其贝叶斯规则；为了计算可行性，引入了在我们的研究中称为泛化风险的替代模态回归风险。在理论方面，严格研究了超额模态回归风险、超额泛化风险、函数估计误差以及上述三个量之间的关系。结果表明，在温和条件下，模态回归中可以像在均值回归、中位数回归和分位数回归等普通回归方案中一样追求函数估计一致性与收敛性。然而，从重新下降M估计的角度看，我们的研究显示其在鲁棒性方面优于这些回归模型。这与MCCR在鲁棒性上的优点相吻合并反过来解释了该优点。在实践方面，讨论了模态回归的实现问题，包括计算算法和调参选择。还进行了模态回归的数值评估以从经验上验证我们的发现。
引用
@article{arxiv.1702.05960,
title = {A Statistical Learning Approach to Modal Regression},
author = {Yunlong Feng and Jun Fan and Johan A. K. Suykens},
journal= {arXiv preprint arXiv:1702.05960},
year = {2020}
}