ReLU不变分布的完整刻画

我们给出了在ReLU神经网络层作用下保持不变的概率分布族的完整刻画。此类分布族的需求出现在贝叶斯网络训练或已训练神经网络的分析过程中，例如在不确定性量化（UQ）或可解释人工智能（XAI）的语境下。我们证明，除非以下三种限制中至少一种成立，否则不存在不变的参数化分布族：第一，网络层宽度为1，这对实际神经网络而言不合理；第二，族中的概率测度具有有限支撑，这基本等同于采样分布；第三，族的参数化不是局部Lipschitz连续的，这排除了所有计算上可行的族。最后，我们表明这些限制各自都是必要的。对于三种情形中的每一种，我们都能构造一个恰好利用其中一项限制而非另两项的不变族。