线性核替代损失：用于分类和结构化预测的具有线性速率的平滑损失函数
机器学习
2026-05-01 v1 机器学习
摘要
分类中损失函数的选择涉及一个基本的权衡：平滑损失（如交叉熵）能够实现快速的优化速率，但产生缓慢的平方根一致性界，而分段线性损失（如 Hinge 损失）提供快速的线性一致性速率，但存在不可微的问题。我们提出了线性核替代损失，这是一个新的凸损失函数族，通过将线性核与平滑尾部拼接来解决这一矛盾。我们证明这些替代损失处处可微，同时保留了严格的线性 -一致性界，有效地结合了平滑性的优化优势与基于间隔的损失的统计效率。在结构化预测设定中，我们表明这种平滑性释放了巨大的计算和能源优势：它允许使用无偏随机梯度估计器，从而绕过了精确推理（例如，Viterbi 算法）的二次复杂度 。在经验上，我们的方法在大词汇量序列标注任务上比结构化 SVM 实现了 23 倍的加速，并展示了对实例依赖标签噪声的优越鲁棒性，在损坏的 CIFAR-10 上比交叉熵高出 2.6%。
引用
@article{arxiv.2604.27742,
title = {Linear-Core Surrogates: Smooth Loss Functions with Linear Rates for Classification and Structured Prediction},
author = {Mehryar Mohri and Yutao Zhong},
journal= {arXiv preprint arXiv:2604.27742},
year = {2026}
}