柯西损失函数：在高斯与柯西噪声下的鲁棒性
机器学习
2023-02-15 v1 人工智能
神经与进化计算
摘要
在有监督机器学习中，损失函数的选择隐式地假定了数据上特定的噪声分布。例如，常用的均方误差（MSE）损失假定了高斯噪声分布。训练与测试时损失函数的选择影响人工神经网络（ANNs）的性能。已知 MSE 在存在离群点时可能产生次优性能。柯西损失函数（CLF）假定柯西噪声分布，因此可能更适用于含离群点的数据。本文旨在确定与 MSE 相比，CLF 的鲁棒性与可泛化性程度。在 ANN 训练背景下，CLF 与 MSE 在若干手工设计的回归问题以及带人工模拟离群点的真实世界回归问题上进行了评估。CLF 所得结果可与 MSE 相当或优于 MSE，但有少数显著例外。
引用
@article{arxiv.2302.07238,
title = {Cauchy Loss Function: Robustness Under Gaussian and Cauchy Noise},
author = {Thamsanqa Mlotshwa and Heinrich van Deventer and Anna Sergeevna Bosman},
journal= {arXiv preprint arXiv:2302.07238},
year = {2023}
}
备注
A version of this paper was accepted for publication in SACAIR'22