所有线性区域都是平等创造的吗？
机器学习
2022-02-25 v1
摘要
线性区域的数量已被研究作为 ReLU 网络复杂度的代理指标。然而，剪枝与知识蒸馏等网络压缩技术的经验性成功表明，在过参数化设定下，线性区域密度可能不足以刻画有效非线性。本工作中，我们提出一种发现线性区域的高效算法，并用其考察密度在刻画训练后 VGG 与 ResNet 于 CIFAR-10 和 CIFAR-100 上非线性方面的有效性。我们将结果与基于函数变化的更具原则性的非线性度量进行对比，凸显线性区域密度的缺陷。此外，有趣的是，我们的非线性度量与模型层面的深度双下降明显相关，将降低的测试误差与降低的非线性以及线性区域局部相似性的增加联系起来。
引用
@article{arxiv.2202.11749,
title = {Are All Linear Regions Created Equal?},
author = {Matteo Gamba and Adrian Chmielewski-Anders and Josephine Sullivan and Hossein Azizpour and Mårten Björkman},
journal= {arXiv preprint arXiv:2202.11749},
year = {2022}
}