基础新颖一致性理论：$H$-一致性界

在机器学习中，由于计算不可处理性或不可微性，训练期间优化的损失函数通常不同于定义任务性能的目标损失。我们深入研究了目标损失估计误差相对于替代损失估计误差的问题。我们的分析导出了 $H$-一致性界，这是考虑假设集 $H$ 的保证。这些界提供了比贝叶斯一致性或 $H$-校准更强的保证，并且比超额误差界提供更多信息。我们从二元分类开始，建立了紧致的分布相关和分布无关界。我们为凸替代损失（包括线性模型和神经网络）提供了显式界，并分析了 $\rho$-margin 和 sigmoid 损失等替代损失的对抗设置。扩展到多类分类，我们提出了针对最大损失、求和损失和约束损失的第一个 $H$-一致性界，涵盖了非对抗和对抗场景。我们证明了在某些情况下，无法获得非平凡的 $H$-一致性界。我们还研究了 comp-sum 损失（例如，交叉熵、MAE），推导了它们的第一个 $H$-一致性界，并引入了产生鲁棒学习算法的平滑对抗变体。我们开发了一个综合框架来推导各种替代损失的这些界，引入了对约束损失和 comp-sum 损失的新刻画。最后，我们研究了 $H$-一致性界的增长率，为二元和多类任务中的平滑替代损失建立了通用的平方根增长率，并分析了可最小化性差距以指导替代损失的选择。