GLinSAT：通用线性满意性神经网络层——通过加速梯度下降法

确保神经网络输出满足特定约束对于将神经网络应用于现实决策问题至关重要。本文考虑如何使一批神经网络输出满足有界且通用的线性约束。我们首先将神经网络输出投影问题重新表述为熵正则化的线性规划问题。我们证明，根据对偶定理，这类问题可等价转化为具有 Lipschitz 连续梯度的无约束凸优化问题。随后，基于带数值性能增强的加速梯度下降算法，我们提出了我们的架构——GLinSAT，用于求解该问题。据我们所知，这是首个所有操作均可微分且无矩阵分解的通用线性满意性层。尽管可以基于自动微分机制进行显式 backpropagation，我们也提供了 GLinSAT 中基于最优性条件隐式微分计算导数的方法。实验在受限旅行商问题、带离群点的部分图匹配、预测性投资组合配置以及电力系统单元提交等场景中，都证明了 GLinSAT 在已有满意性层方面的优势。我们的实现已公开于 \url{https://github.com/HunterTracer/GLinSAT}。