ReLU分类器边界片段的精确计数：迈向分类的恰当复杂度度量
机器学习
2023-06-16 v1 机器学习
摘要
经典学习理论表明，恰当的正则化是良好泛化与鲁棒性的关键。在分类中，当前的训练方案仅针对分类器本身的复杂度，这可能具有误导性且低效。相反，我们主张直接度量决策边界的复杂度。现有文献在此领域有限，鲜有建立完善的边界复杂度定义。作为概念验证，我们首先分析ReLU神经网络，其边界复杂度可由仿射片段的数量方便地刻画。借助热带几何，我们开发了一种新方法，能够显式计数边界片段的精确数量，并作为副产物得到总仿射片段的精确数量。我们进行了数值实验并揭示了边界复杂度的独特性质。首先，在训练过程中，边界片段计数似乎与其他度量（例如总片段计数、权重的范数）基本独立。其次，边界片段计数与鲁棒性呈负相关，其中流行的鲁棒训练技术（例如对抗训练或随机噪声注入）被发现能减少边界片段的数量。
引用
@article{arxiv.2306.08805,
title = {Exact Count of Boundary Pieces of ReLU Classifiers: Towards the Proper Complexity Measure for Classification},
author = {Paweł Piwek and Adam Klukowski and Tianyang Hu},
journal= {arXiv preprint arXiv:2306.08805},
year = {2023}
}
备注
Accepted to UAI 2023