通过卷积 Fenchel-Young 损失为凸光滑损失建立线性代理遗憾界

代理遗憾界，也称为超额风险界，弥合了代理损失与目标损失收敛速率之间的差距。如果代理遗憾界是线性的，则遗憾转移是无损的。凸光滑代理损失因高效的估计和优化而特别具有吸引力，但学界一直认为损失光滑性与线性遗憾界之间存在权衡。在这种情况下，凸光滑代理损失在优化和估计方面的优良特性在经历向目标损失的遗憾转移后可能不可避免地发生退化。我们通过构造一个凸光滑代理损失，克服了任意离散目标损失的这一困境，该代理损失在与定制的预测链接复合后产生线性代理遗憾界。该构造基于由卷积负熵生成的 Fenchel--Young 损失，这等价于广义负熵与目标贝叶斯风险的下卷积。因此，下卷积使我们能够在保持代理遗憾界为线性的同时导出光滑损失。我们还受益于下卷积，从而拥有潜在类别概率的一致估计量。我们的结果整体上是一个新颖的展示，说明了凸分析如何渗透到风险最小化中的优化和统计效率。