镜像之库：低维深度神经网络是具有反射特征的凸 Lasso 模型
机器学习
2024-07-25 v4 人工智能
神经与进化计算
最优化与控制
机器学习
摘要
我们证明，在一维数据上训练神经网络等价于求解具有离散且显式定义字典矩阵的凸 Lasso 问题。我们考虑了采用分段线性激活函数、深度从2层到任意有限层数的神经网络。我们首先表明，具有分段线性激活函数的两层网络等价于使用由斜坡函数构成的离散字典的 Lasso 模型，其断点对应于训练数据点。在某些采用绝对值或 ReLU 激活函数的通用架构中，第三层令人惊讶地创建了将训练数据关于自身反射的特征。额外的层则逐步生成这些反射的反射。Lasso 表示为分析全局最优网络提供了有价值的见解，阐明了其解景观，并在某些特殊情况下使得闭式解成为可能。数值结果表明，在使用标准非凸优化器优化标准深度网络时，也会出现反射现象。此外，我们通过自回归时间序列模型演示了我们的理论。
引用
@article{arxiv.2403.01046,
title = {A Library of Mirrors: Deep Neural Nets in Low Dimensions are Convex Lasso Models with Reflection Features},
author = {Emi Zeger and Yifei Wang and Aaron Mishkin and Tolga Ergen and Emmanuel Candès and Mert Pilanci},
journal= {arXiv preprint arXiv:2403.01046},
year = {2024}
}