软径向投影:用于受约束的端到端学习
机器学习
2026-02-04 v1 最优化与控制
计算金融
机器学习
摘要
将硬约束集成到深度学习中对于安全关键系统至关重要。然而,现有的构造层将预测投影到约束边界面临根本性瓶颈:梯度饱和。通过将外部点折叠到低维表面,标准正交投影会导致雅可比矩阵秩不足,从而使正交于活跃约束的梯度为零,阻碍优化。我们引入软径向投影,这是一种可微 reparameterization 层,通过从欧几里得空间到可行集内部的径向映射来克服此问题。该构造保证严格可行,同时保持几乎处处满秩雅可比矩阵,从而防止边界方法中典型的优化停滞。我们在理论上证明了该架构保持普遍逼近性质,经验上显示其在收敛行为和解质量上优于基于优化和投影的前沿基线方法。
引用
@article{arxiv.2602.03461,
title = {Soft-Radial Projection for Constrained End-to-End Learning},
author = {Philipp J. Schneider and Daniel Kuhn},
journal= {arXiv preprint arXiv:2602.03461},
year = {2026}
}