鲁棒记忆的成本：ReLU 网络中参数复杂度的紧致界限

我们研究 ReLU 网络中鲁棒记忆的参数复杂度：即插值给定数据集所需的参数数量，该数据集中不同标签点之间存在 $\epsilon$ 分离距离，并且确保在每个训练样本围绕 $\mu$ 球内的预测保持一致。我们建立了参数数量的上界和下界，作为鲁棒性比 $\rho = \mu / \epsilon$ 的函数。与 prior 工作不同，我们在整个范围 $\rho \in (0,1)$ 上进行细粒度分析，获得更紧的上界和下界，显著改进了现有结果。我们的发现表明，当 $\rho$ 较小时，鲁棒记忆的参数复杂度与非鲁棒记忆相同，但随着 $\rho$ 的增大而增长。