揭示神经崩溃出现时泛化行为之谜
机器学习
2023-10-13 v1
摘要
神经崩溃（NC）是深度神经网络在训练终期（TPT）的已知现象。其特征是特征与分类器坍缩为对称结构，即单纯形等角紧框架（ETF）。尽管已有大量关于优化特性的研究表明神经崩溃的全局最优性，但关于 NC 发生过程中的泛化行为研究甚少。特别是，TPT 期间泛化能力提升这一现象始终停留在经验观察层面，缺乏严谨的理论解释。本文中，我们建立了 TPT 期间 CE 最小化与多类 SVM 的联系，进而推导出多类间隔泛化界，为即便训练准确率已达 100% 后继续训练仍能使测试集准确率提升提供了理论解释。此外，我们进一步的理论结果表明，尽管所有模型均达到 NC 且在训练集上展现相似优化性能，单纯形 ETF 中标签与特征的不同对齐会导致不同程度的泛化提升。我们将这一新发现的属性称为“非保守泛化”。实验中，我们也提供了经验观察以验证理论结果的指示。
引用
@article{arxiv.2310.08358,
title = {Towards Demystifying the Generalization Behaviors When Neural Collapse Emerges},
author = {Peifeng Gao and Qianqian Xu and Yibo Yang and Peisong Wen and Huiyang Shao and Zhiyong Yang and Bernard Ghanem and Qingming Huang},
journal= {arXiv preprint arXiv:2310.08358},
year = {2023}
}
备注
20 pages, 6 figures. arXiv admin note: substantial text overlap with arXiv:2304.08914