基于相关熵诱导损失的对称稳定混合噪声回归学习
机器学习
2019-09-06 v5 机器学习
摘要
近年来，相关熵及其在机器学习中的应用因其在处理非高斯噪声和离群值方面的优点而持续受到关注。然而，对相关熵的理论理解，尤其在统计学习背景下，仍然有限。本研究在统计学习框架内，考察了存在非高斯噪声或离群值情况下基于相关熵的回归。受生成非高斯噪声或离群值的实际方式启发，我们引入对称稳定混合噪声，其包含高斯噪声、柯西噪声及其混合作为特例，以建模非高斯噪声或离群值。我们证明，在对称稳定混合噪声假设下，基于相关熵的回归能够良好地学习条件均值函数或条件中位数函数，而无需借助噪声的有限方差甚至有限一阶矩条件。特别地，针对上述两种情况，我们建立了基于相关熵的回归估计量的渐近最优学习率，其渐近类型为 。这些结果证明了基于相关熵的回归估计量在处理离群值及非高斯噪声方面的有效性。我们相信，本研究从统计学习视角完善了对基于相关熵回归的理解，并可能为鲁棒统计学习回归提供一定启示。
引用
@article{arxiv.1803.00183,
title = {Learning with Correntropy-induced Losses for Regression with Mixture of Symmetric Stable Noise},
author = {Yunlong Feng and Yiming Ying},
journal= {arXiv preprint arXiv:1803.00183},
year = {2019}
}