自监督深度 ReLU 网络线性区域的复杂度
机器学习
2026-04-28 v1 计算机视觉与模式识别
摘要
人们越来越关注研究基于修正线性单元（ReLU）的激活网络的复杂度。最近的研究探讨了在训练期间形成的分段线性分区（线性区域）数量的演变。然而，当前研究仅限于检查以监督方式训练的模型的复杂度。自监督学习（SSL）不同于后者，它直接优化表示空间以增强模型在多个下游任务上的性能。本研究调查了由 SSL 模型产生的线性区域的局部分布。我们利用 SplineCam 提取数据分布附近的二维多边形，跟踪训练期间区域的数量、面积、离心率和边界。该研究在两个标准基准数据集 MNIST 和 FashionMNIST 上比较了监督、对比和自蒸馊方法。实验结果分析表明，自监督方法在实现相当于监督模型的准确率的同时，创建了显著更少的区域。对比方法随时间快速扩展区域，而自蒸馊方法倾向于通过合并相邻区域来Consolidate。最后，我们可以在线性区域的几何空间中早期检测表示塌陷。我们的分析表明，多边形指标可作为表示质量和模型性能的可靠指标。
引用
@article{arxiv.2604.24393,
title = {Complexity of Linear Regions in Self-supervised Deep ReLU Networks},
author = {Mufhumudzi Muthivhi and Terence L. van Zyl},
journal= {arXiv preprint arXiv:2604.24393},
year = {2026}
}
备注
Accepted for publication in 2026 IEEE/CVF Conference on Computer Vision and Pattern Recognition - Findings Track (CVPRF)