基于经验增益最大化的学习框架

本文发展了一种经验增益最大化（EGM）框架，以解决响应变量中可能存在重尾噪声或离群点的鲁棒回归问题。EGM 的思想是近似噪声分布的密度函数，而非如通常那样直接近似真值函数。与鼓励所有观测等权重的经典最大似然估计不同——后者在存在异常观测时可能出现问题——EGM 方案可从最小距离估计视角解释，并允许忽略那些观测。此外，我们表明若干著名的鲁棒非凸回归范式，如 Tukey 回归与截断最小二乘回归，可被重构进这一新框架。随后我们发展了 EGM 的学习理论，借此可对这些已建立但未被充分理解的回归方法进行统一分析。由新框架可得，对现有有界非凸损失函数的新解释可被得出。在该新框架内，两个看似无关的术语——著名的用于鲁棒回归的 Tukey 双权损失与非参数平滑的三权核——密切相关。更确切地说，表明 Tukey 双权损失可由三权核导出。类似地，机器学习中其他常用的有界非凸损失函数，如截断平方损失、Geman-McClure 损失与指数平方损失，也可由统计学中某些平滑核重构。此外，新框架使我们能够设计用于鲁棒学习的新有界非凸损失函数。