神经网络中的幽灵：无限维零空间的存在性、结构与作用
机器学习
2021-06-10 v1 机器学习
摘要
过参数化在深度学习研究中取得了显著成功。本研究考察了过参数化神经网络中被忽视但重要的一面，即神经网络参数中的零成分，或称幽灵。由于深度学习未显式正则化，典型的深度学习解含有零成分。本文给出一类通用神经网络的零空间结构定理。具体而言，我们证明任意零元素均可唯一地写为脊波变换的线性组合。一般而言，完整刻画任意给定算子的零空间相当困难。因此，该结构定理对理解神经网络参数复杂景观是一大优势。作为应用，我们讨论了幽灵在深度学习泛化性能中的作用。
引用
@article{arxiv.2106.04770,
title = {Ghosts in Neural Networks: Existence, Structure and Role of Infinite-Dimensional Null Space},
author = {Sho Sonoda and Isao Ishikawa and Masahiro Ikeda},
journal= {arXiv preprint arXiv:2106.04770},
year = {2021}
}