单调、双李普希茨与Polyak-Lojasiewicz网络

本文提出了一种新的双李普希茨可逆神经网络BiLipNet，它能够平滑地控制其李普希茨性（输出对输入扰动的敏感性）和逆李普希茨性（从不同输出区分输入的能力）。第二个主要贡献是一种新的标量输出网络PLNet，它是BiLipNet与一个二次势函数的复合。我们证明PLNet满足Polyak-Lojasiewicz条件，并可用于学习具有唯一且可高效计算的全局最小值的非凸替代损失。这些网络的核心技术元素是一种新颖的可逆残差层，该层具有经过认证的强单调性和李普希茨性，我们将其与正交层组合以构建BiLipNet。这些性质的认证基于增量二次约束，从而产生比谱归一化更紧的界限。此外，我们将BiLipNet的逆计算——以及因此PLNet的最小值计算——表述为一系列三算子分裂问题，对此可以应用快速算法。