基于铰链损失训练的深度学习二分类器的基本极限
机器学习
2025-04-16 v2 人工智能
摘要
尽管深度学习（DL）在许多学科中带来了若干突破，但关于深度学习为何以及如何取得经验性成功的根本性理解仍难以捉摸。为攻克这一基本问题并揭示深度学习经验性成功背后的奥秘，已朝着深度学习的统一理论做出了重大创新。尽管这些创新涵盖了优化、泛化与逼近方面近乎基础的进展，但尚未有工作量化用于解决模式分类问题的基于深度学习的算法的测试性能。为部分克服这一基本挑战，本文揭示了基于铰链损失训练的深度学习二分类器的基本测试性能极限。对于基于深度修正线性单元（ReLU）前馈神经网络（FNN）以及具有ReLU和Tanh激活的深度FNN的二分类器，我们推导了它们各自新颖的渐近测试性能极限，并通过大量计算机实验进行了验证。
引用
@article{arxiv.2309.06774,
title = {Fundamental Limits of Deep Learning-Based Binary Classifiers Trained with Hinge Loss},
author = {Tilahun M. Getu and Georges Kaddoum and M. Bennis},
journal= {arXiv preprint arXiv:2309.06774},
year = {2025}
}