仅调优归一化层的表达能力
机器学习
2023-07-06 v2 人工智能
机器学习
摘要
Batch Normalization与Layer-Normalization等特征归一化变换已成为最先进深度神经网络不可或缺的组成部分。近期关于大预训练模型微调的研究表明，仅调优这些仿射变换的参数即可在下游任务上达到高准确率。这些发现引出了关于冻结网络的归一化层调优之表达能力的问题。在本工作中，我们针对该问题迈出第一步，证明对于随机ReLU网络，仅微调其归一化层即可重构任何小倍的目標网络。我们表明，在充分过参数化下，即便对随机稀疏化网络该结论也成立，与先前的实证工作一致。
引用
@article{arxiv.2302.07937,
title = {The Expressive Power of Tuning Only the Normalization Layers},
author = {Angeliki Giannou and Shashank Rajput and Dimitris Papailiopoulos},
journal= {arXiv preprint arXiv:2302.07937},
year = {2023}
}