用数据无关函数刻画隐式正则化的局限性
机器学习
2023-09-08 v2
摘要
近年来，理解神经网络（NNs）的隐式正则化已成为深度学习理论中的核心任务。然而，隐式正则化本身尚未被完全定义和充分理解。在这项工作中，我们试图从数学上定义并研究隐式正则化。重要的是，我们探讨了一类利用数据无关函数刻画隐式正则化的常用方法的局限性。我们提出了两种动力学机制，即两点重叠机制与一点重叠机制，基于此给出了两类单隐藏神经元神经网络的构造方法，可证明它们无法被某类或所有数据无关函数完全刻画。继先前工作之后，我们的结果进一步强调了隐式正则化普遍存在的深刻数据依赖性，启发我们在未来详细研究神经网络隐式正则化的数据依赖性。
引用
@article{arxiv.2201.12198,
title = {Limitation of Characterizing Implicit Regularization by Data-independent Functions},
author = {Leyang Zhang and Zhi-Qin John Xu and Tao Luo and Yaoyu Zhang},
journal= {arXiv preprint arXiv:2201.12198},
year = {2023}
}
备注
Revised the structure of paper and added results about implicit regularization in training two-layer network or even more general "activation function-related" models