ReLU 神经网络中的凸性：超越 ICNN ？
机器学习
2025-04-09 v2
摘要
凸函数及其梯度在数学成像中发挥着关键作用，从原子优化到最优传输。深度学习的成功促使许多人采用基于学习的方法，其中固定函数或算子被学习型神经网络取代。尽管这些方法在实践中表现优异，但建立严格保证往往需要对神经网络结构施加特定约束，特别是凸性约束。最流行的方式是使用所谓输入凸神经网络（ICNN）。为了探讨 ICNN 的表达性，我们提供了 ReLU 神经网络为凸的必要充分条件。这些条件基于权重与激活的乘积，可在路径提升框架下表述得体。作为具体应用，我们深入研究了 1 隐藏层和 2 隐藏层神经网络中的这些条件：我们指出，任何由 1 隐藏层 ReLU 网络实现的凸函数都可以由相同结构的 ICNN 表示；但在更多层数后，这一性质不再成立。最后，我们提供了一个数值程序，可对具有大量仿射区域的 ReLU 神经网络进行精确凸性检查。
引用
@article{arxiv.2501.03017,
title = {Convexity in ReLU Neural Networks: beyond ICNNs?},
author = {Anne Gagneux and Mathurin Massias and Emmanuel Soubies and Rémi Gribonval},
journal= {arXiv preprint arXiv:2501.03017},
year = {2025}
}