HawkEye：用于鲁棒回归的有界、光滑且不敏感的损失函数
机器学习
2024-02-16 v2
摘要
支持向量回归（SVR）因其在各类领域的广泛应用，过去二十年来获得了广泛关注。尽管其灵活性突出，但在面对异常值和噪声时，SVR 由于采用 -不敏感损失函数，仍面临挑战。为此，基于有界损失函数的 SVR 成为备受青睞的替代方案，能提供更好的泛化性能和鲁棒性。近期研究聚焦于设计具备光滑特性的有界损失函数，以便于采用梯度化优化算法。然而必须指出的是，这些有界且光滑的损失函数并不具备不敏感区。本文提出一种称为 HawkEye 损失函数的新型对称损失函数，以解决上述限制。值得注意的是，HawkEye 损失函数是 SVR 文献中首个同时具备有界性、光滑性和不敏感区的损失函数。基于这一突破性进展，我们将 HawkEye 损失函数集成到 SVR 的最小二乘框架中，构建了新的快速鲁棒模型 HE-LSSVR。HE-LSSVR 的优化问题通过采用自适应矩估计（Adam）算法来解决，Adam 算法具有自适应学习率的特性，擅长处理大规模问题。据我们所知，这是首次将 Adam 用于求解 SVR 问题。为验证所提出的 HE-LSSVR 模型的有效性，我们在 UCI 数据集、合成数据集和时间序列数据集上进行了实验。实验结果明确表明，HE-LSSVR 模型在卓越的泛化性能和训练时间效率方面均表现出色。
引用
@article{arxiv.2401.16785,
title = {HawkEye: Advancing Robust Regression with Bounded, Smooth, and Insensitive Loss Function},
author = {Mushir Akhtar and M. Tanveer and Mohd. Arshad},
journal= {arXiv preprint arXiv:2401.16785},
year = {2024}
}