偏置自由 ReLU 网络何时等价于线性网络？
机器学习
2025-04-29 v3
摘要
我们探讨了移除 ReLU 网络中的偏置对其表达性和学习动力学的影响。首先我们说明, 两层偏置自由 ReLU 网络具有有限的表达性: 唯一能够表达的奇函数为线性函数。随后我们指出, 在数据上满足对称条件的情况下, 这些网络与线性网络具有相同的学习动力学。这使我们能够在懒惰学习范数之外, 为某些两层偏置自由 (leaky) ReLU 网络提供解析的时间演化解。虽然深层偏置自由 ReLU 网络比其两层版本更具表达性, 但它们仍与深层线性网络共享许多相似性。这些相似性使我们能够利用线性网络的见解来理解某些 ReLU 网络。总体而言, 我们的结果表明, 先前确立的偏置自由 ReLU 网络的某些性质是由于等价于线性网络而产生的。
引用
@article{arxiv.2406.12615,
title = {When Are Bias-Free ReLU Networks Effectively Linear Networks?},
author = {Yedi Zhang and Andrew Saxe and Peter E. Latham},
journal= {arXiv preprint arXiv:2406.12615},
year = {2025}
}
备注
TMLR