中位数比想象中更容易:常数深度、线性宽度 ReLU 网络的近似
机器学习
2026-02-10 v1 人工智能
摘要
我们研究使用 ReLU 神经网络对 d 个输入的中位数进行近似。我们在各种设置下给出深度-宽度权衡,最终得到常数深度、线性宽度的构造方案,可实现相对于均匀分布在单位超立方体上的指数级小近似误差。通过进一步建立从最大值到中位数的一般化简,我们的结果突破了先前关于最大值函数的界限——该工作表明线性宽度需要深度至少以 的形式增长才能实现相当精度。我们的构造依赖于多阶段程序,迭代消除非中心元素,同时保持围绕中位数的候选集合。我们克服了最大值情形下不适用的障碍,得到严格优于先前已知的最大函数近似结果。
引用
@article{arxiv.2602.07219,
title = {The Median is Easier than it Looks: Approximation with a Constant-Depth, Linear-Width ReLU Network},
author = {Abhigyan Dutta and Itay Safran and Paul Valiant},
journal= {arXiv preprint arXiv:2602.07219},
year = {2026}
}