揭示深度学习中隐藏的凸性：稀疏信号处理视角
机器学习
2026-03-26 v1 信号处理
机器学习
摘要
深度神经网络（DNN），尤其是使用整流线性单元（ReLU）激活函数的网络，已在图像识别、音频处理和语言建模等众多机器学习任务中取得显著成功。尽管如此，DNN损失函数的非凸性仍然复杂化了优化过程并限制了理论理解。本文指出，最近发展出来的ReLU神经网络凸等价形式及其与稀疏信号处理模型的联系，能够解决训练和理解神经网络的挑战。近期研究已揭示了某些神经网络结构（尤其是两层ReLU网络及其他更深或结构更为多样的网络）损失景观中存在若干隐藏凸性。本文旨在提供一份易于理解和教育性的概述，搭建近期深度学习数学进展与传统信号处理之间的桥梁，鼓励更广泛的信号处理应用。
引用
@article{arxiv.2603.23831,
title = {Unveiling Hidden Convexity in Deep Learning: a Sparse Signal Processing Perspective},
author = {Emi Zeger and Mert Pilanci},
journal= {arXiv preprint arXiv:2603.23831},
year = {2026}
}