面向 ReLU 深度神经网络变换复杂度的理论分析
机器学习
2022-07-26 v2 人工智能
摘要
本文旨在从理论上分析带 ReLU 层的分段线性 DNN 中所编码特征变换的复杂度。我们提出基于信息论度量变换三类复杂度的指标。我们进一步发现并证明了复杂度与变换解耦性之间的强相关性。基于所提指标，我们分析了训练过程中变换复杂度变化的两种典型现象，并探索了 DNN 复杂度的上限。所提指标也可用作损失，以学习具有最小复杂度的 DNN，这同时控制了 DNN 的过拟合程度，并影响对抗鲁棒性、对抗可迁移性与知识一致性。全面的比较研究为理解 DNN 提供了新视角。
引用
@article{arxiv.2205.01940,
title = {Towards Theoretical Analysis of Transformation Complexity of ReLU DNNs},
author = {Jie Ren and Mingjie Li and Meng Zhou and Shih-Han Chan and Quanshi Zhang},
journal= {arXiv preprint arXiv:2205.01940},
year = {2022}
}