凸松弛下 ReLU 网络的表达能力
机器学习
2023-11-08 v1 人工智能
摘要
凸松弛是训练和证明可证明安全的神经网络的关键组成部分。然而，尽管取得了实质性进展，其与标准网络之间仍存在广泛且知之甚少的精度差距，这引发了该差距是否源于凸松弛的根本性局限的问题。探究此问题的初期工作聚焦于简单且广泛使用的 IBP 松弛。其揭示了一些单变量、凸的、连续分段线性（CPWL）函数无法被任何 ReLU 网络编码，使其 IBP 分析精确。为探究更先进的凸松弛是否共有此局限，我们首次深入研究了所有常用凸松弛下 ReLU 网络的表达能力。我们表明：（i）更先进的松弛允许更大类的单变量函数被表达为可精确分析的 ReLU 网络；（ii）更精确的松弛可允许编码相同函数的 ReLU 网络具有指数级更大的解空间；（iii）即使使用最精确的单神经元松弛，也不可能构造出可表达多变量、凸的、单调 CPWL 函数的可精确分析 ReLU 网络。
引用
@article{arxiv.2311.04015,
title = {Expressivity of ReLU-Networks under Convex Relaxations},
author = {Maximilian Baader and Mark Niklas Müller and Yuhao Mao and Martin Vechev},
journal= {arXiv preprint arXiv:2311.04015},
year = {2023}
}