存在离群点时的提升方法：基于非凸损失函数的自适应分类

本文考察非凸损失函数在二分类问题中的作用和效率。特别地，我们研究如何设计一个简单有效的提升算法，对数据中的离群点具有鲁棒性。关于特定非凸损失对预测精度作用的分析，取决于损失梯度的递减尾部性质——损失有效适应离群数据的能力、损失的局部凸性质以及污染数据的比例。为有效利用这些性质，我们提出一族新的非凸损失，命名为 $\gamma$-robust 损失。此外，我们提出一个新的提升框架，Arch Boost，旨在扩充现有工作，使其对应分类算法对未知数据污染显著更具适应性。连同 Arch Boosting 框架，非凸损失带来了新的一类提升算法，命名为自适应鲁棒提升(ARB)。进一步，我们给出证明所提算法鲁棒性的理论示例。特别地，我们发展了新的崩溃点分析和新的影响函数分析，展示了鲁棒性增益。此外，我们提出仅基于局部曲率的新理论结果，可用于建立具有高度非凸损失函数的所提 Arch 提升算法的统计和优化性质。广泛数值计算用于阐明这些理论性质，并揭示当数据呈现大量离群点时相对于现有提升方法的优势。