通过超单胞投影实现可微分的零一损失
机器学习
2026-02-27 v1 机器学习
摘要
近期机器学习研究强调将结构化优化组件集成到端到端可微模型中, 以实现更丰富的归纳偏置和更紧密地与任务特定目标对齐。本文引入一种对零一损失的新型可微分近似方法 — — 这一方法长期以来一直是分类性能的黄金标准, 但由于其不可微分而无法用于梯度优化。我们的方法通过受限优化框架构建对 n,k 维超单胞的平滑、保序投影, 从而产生一种我们称为 Soft-Binary-Argmax 的新运算符。在推导其数学属性后, 我们展示了其雅可比矩阵的高效计算方法, 并将其集成到二分类和多分类学习系统中。经验上, 我们的做法通过对输出 logits 施加几何一致性约束, 在大批量训练下显著改善了泛化能力, 从而缩小了传统上在大批量训练中观察到的性能差距。
引用
@article{arxiv.2602.23336,
title = {Differentiable Zero-One Loss via Hypersimplex Projections},
author = {Camilo Gomez and Pengyang Wang and Liansheng Tang},
journal= {arXiv preprint arXiv:2602.23336},
year = {2026}
}
备注
To appear in PAKDD 2026 (Pacific-Asia Conference on Knowledge Discovery and Data Mining), 12 pages