学习延迟的可实现 H-一致且贝叶斯一致的损失函数

我们present了一项关于学习延迟的代理损失函数的全面研究。我们引入了一广泛的代理损失函数族，由非递增函数 $\Psi$ 参数化，并在温和条件下建立了其可实现 $H$-一致性。对于基于分类错误的成本函数，我们进一步证明这些损失函数在假设集合对称且完备时具有 $H$-一致性界，后者是常见神经网络和线性函数假设集合所满足的性质。我们的结果也解决了前期工作中提出的开放问题（Mozannar 等，2023），证明了特定代理损失的可实现 $H$-一致性和贝叶斯一致性。此外，我们识别出导致任何通用成本函数均可实现 $H$-一致代理损失的 $\Psi$ 选择，从而实现贝叶斯一致性、可实现 $H$-一致性和 $H$-一致性界的同时满足。我们还探讨了 $H$-一致性界与可实现 $H$-一致性之间在学习延迟中的关系，突出了其与标准分类的关键差异。最后，我们在实证研究中评估了我们提出的代理损失，并与现有基线方法进行比较。