ReLU神经网络的单射性与验证的复杂度
计算复杂性
2025-06-23 v3 离散数学
机器学习
摘要
使用ReLU激活函数的神经网络在现代机器学习中扮演关键角色。理解ReLU网络表示的函数是当前研究的一个主要课题，因为这能更好地解释学习过程。ReLU网络计算函数的单射性，即不同输入是否总是导致不同输出，在需要函数可逆性时（例如逆问题或生成模型）起着关键作用。判定单射性的精确计算复杂度最近被作为一个开放问题提出（Puthawala et al. [JMLR 2022]）。我们通过证明coNP完全性来回答这个问题。从积极方面看，我们证明单层ReLU层的问题对于小输入维度仍然是可处理的；更准确地说，我们提出了一种参数化算法，该算法在输入维度上具有固定参数可处理性。此外，我们研究了网络验证问题，即验证特定输入是否只产生特定输出。这非常重要，因为神经网络越来越多地用于安全关键系统。我们证明对于一般输入域类，网络验证是coNP难的。我们的结果还排除了ReLU网络计算函数最大值的常数因子多项式时间近似。在此背景下，我们还刻画了具有一维输出的ReLU网络计算函数的满射性，这被证明是基本网络验证任务的补集。通过将满射性问题表述为zonotope包含问题，我们揭示了与计算凸性的有趣联系。
引用
@article{arxiv.2405.19805,
title = {Complexity of Injectivity and Verification of ReLU Neural Networks},
author = {Vincent Froese and Moritz Grillo and Martin Skutella},
journal= {arXiv preprint arXiv:2405.19805},
year = {2025}
}
备注
26 pages, Accepted for presentation at the Conference on Learning Theory (COLT) 2025