当深度学习遇见多面体理论:一项综述
最优化与控制
2025-09-16 v4 机器学习
摘要
在过去十年中,得益于深度神经网络在计算机视觉与自然语言处理等任务中令人瞩目的准确性,深度学习成为预测建模的主流方法。与此同时,神经网络的结构回归到基于分段常数与分段线性函数(如修正线性单元(ReLU))的更简表示,ReLU 已成为神经网络中最常用的激活函数类型。这使得某些类型的网络结构——例如典型的全连接前馈神经网络——可通过多面体理论进行分析,并可出于多种目的应用线性规划(LP)与混合整数线性规划(MILP)等方法。本文综述了这一快速发展领域涌现的主要课题,其为了解神经网络细节以及应用线性优化技术训练、验证和压缩此类网络提供了崭新视角。
引用
@article{arxiv.2305.00241,
title = {When Deep Learning Meets Polyhedral Theory: A Survey},
author = {Joey Huchette and Gonzalo Muñoz and Thiago Serra and Calvin Tsay},
journal= {arXiv preprint arXiv:2305.00241},
year = {2025}
}