RoBoSS：一种用于监督学习的鲁棒、有界、稀疏且平滑的损失函数

在机器学习领域，损失函数的重要性至关重要，尤其是在监督学习任务中。它作为基本支柱，深刻影响着监督学习算法的行为与效能。传统损失函数虽被广泛使用，却常难以处理易含离群值和高维的数据，导致训练期间结果次优且收敛缓慢。本文通过提出一种新颖的鲁棒、有界、稀疏且平滑（RoBoSS）损失函数来解决上述局限。进一步，我们将 RoBoSS 损失纳入支持向量机（SVM）框架，并引入一种名为 $\mathcal{L}_{RoBoSS}$-SVM 的新鲁棒算法。在理论分析中，我们还给出了分类校准性质与泛化能力。这些研究对于深入理解 RoBoSS 损失函数在分类问题中的鲁棒性及其对未见数据的良好泛化潜力至关重要。为验证所提 $\mathcal{L}_{RoBoSS}$-SVM 的效力，我们在来自 KEEL 与 UCI 仓库的 $88$ 个基准数据集上对其评估。此外，为严格评估其在挑战性场景中的表现，我们使用刻意注入离群值与标签噪声的数据集进行了评测。另外，为示例 $\mathcal{L}_{RoBoSS}$-SVM 在生物医学领域的有效性，我们在两个医学数据集上评估了它：脑电图（EEG）信号数据集与乳腺癌（BreaKHis）数据集。数值结果证实了所提 $\mathcal{L}_{RoBoSS}$-SVM 模型的优越性，无论在其卓越的泛化性能还是训练时间效率方面。