可微分替代损失函数的一致性条件
机器学习
2025-05-21 v1 机器学习
摘要
离散预测任务的统计一致性通常通过校准条件来检验，但直接验证校准往往十分繁琐。近期工作表明，针对多面 polyhedron 替代损失，一种较为简便的条件——间接劝募 (indirect elicitation, IE)——仍等价于校准。我们首次针对非多面替代损失，具体是凸可微分损失类，给出此类结果。我们首先在 mild 条件下证明，一维损失函数中 IE 与校准等价。我们构造了一个反例，说明在高维情形下这种等价性失效。这促使我们提出强 IE，即一种加强版的 IE，其验证难度与原来的相当。我们建立了强 IE 蕴含可微分替代损失的校准，并证明强 IE 对强凸可微分替代损失既是必要又是充分条件。最后，我们将这些结果应用于一系列问题，展示了 IE 和强 IE 在设计和分析一致的可微分替代损失方面的优势。
引用
@article{arxiv.2505.13760,
title = {Consistency Conditions for Differentiable Surrogate Losses},
author = {Drona Khurana and Anish Thilagar and Dhamma Kimpara and Rafael Frongillo},
journal= {arXiv preprint arXiv:2505.13760},
year = {2025}
}