多神经元凸松弛在神经网络认证中的可表达性分析
机器学习
2026-02-23 v4 人工智能
摘要
神经网络认证方法广泛依赖凸松弛以提供鲁棒性保证。然而，这些松弛常常不够精确：即便是最精确的单神经元松弛也无法对一般ReLU网络实现完备，这一局限被称为“单神经元凸障碍”。虽然多神经元松弛曾被启发式地应用于缓解此问题，但仍涌现两个核心问题：(i)它们是否克服了凸障碍，若否则，(ii)它们是否在单神经元松弛的理论能力之外提供额外优势。本文首次对多神经元松弛的可表达性进行严格分析。意外地我们发现，即便在获得足够资源以最优方式捕获有限数量的神经元和层后，多神经元松弛仍然是本质上不完备的。该结果将单神经元障碍扩展为神经网络认证的“普适凸障碍”。在积极方面，我们表明通过(i)向网络添加若干精心设计的ReLU神经元或(ii)将输入域划分为凸子多边形，即可实现完备性，从而将多神经元松弛与单神经元松弛区分开来——后者无法实现前者，且在后者方面存在更差的分区复杂度。我们的发现为多神经元松弛奠定了基础，并指向了包括针对多神经元松弛训练的新方法以及以多神经元松弛为主要子程序的验证方法等新方向。
引用
@article{arxiv.2410.06816,
title = {Expressiveness of Multi-Neuron Convex Relaxations in Neural Network Certification},
author = {Yuhao Mao and Yani Zhang and Martin Vechev},
journal= {arXiv preprint arXiv:2410.06816},
year = {2026}
}
备注
ICLR'26