通过决策边界体积理解深度学习的几何结构
机器学习
2026-03-17 v1 机器学习
摘要
对于分类任务，深度神经网络的性能取决于其决策边界的结构，而这种几何结构直接影响模型的关键属性，包括准确性和鲁棒性。受Weyl的经典管状公式启发，我们引入一种通过局部表面体积来衡量神经网络决策边界的方法，提供了一种在深学习中考虑的高维特征空间中具有理论依据且高效的度量，使其能够对模型的有效性进行几何解释。较小的表面体积预计对应较低的模型复杂度和更好的泛化能力。我们在多个具有卷积架构的图像处理任务上验证了决策边界体积与分类准确率呈反比。同时，对于全连接架构而言，局部表面体积与泛化之间存在的关系在不同任务之间观察得较不稳定。因此，对于适合特定数据结构的网络架构而言，我们展示了更光滑的决策边界导致更好的性能，这正符合我们的直觉。
引用
@article{arxiv.2603.14768,
title = {Understanding the geometry of deep learning with decision boundary volume},
author = {Matthew Burfitt and Jacek Brodzki and Pawel Dłotko},
journal= {arXiv preprint arXiv:2603.14768},
year = {2026}
}