深度神经网络导数近乎最优的 VC 维与伪维界
机器学习
2023-05-16 v1 数值分析
数值分析
摘要
本文研究深度神经网络（DNNs）导数函数的 Vapnik–Chervonenkis 维（VC 维）与伪维的近乎最优估计问题。这些估计的两个重要应用包括：1）建立 Sobolev 空间中 DNNs 的近乎紧致逼近结果；2）刻画损失函数涉及函数导数的机器学习方法的泛化误差。该理论研究填补了广泛物理信息机器学习模型与应用（包括生成模型、求解偏微分方程、算子学习、网络压缩、蒸馏、正则化等）的学习误差估计空白。
引用
@article{arxiv.2305.08466,
title = {Nearly Optimal VC-Dimension and Pseudo-Dimension Bounds for Deep Neural Network Derivatives},
author = {Yahong Yang and Haizhao Yang and Yang Xiang},
journal= {arXiv preprint arXiv:2305.08466},
year = {2023}
}