对数宽度足以实现鲁棒记忆
机器学习
2025-02-18 v1 机器学习
摘要
给定架构的神经网络的记忆容量已在许多工作中被深入研究。具体而言，众所周知，使用恒定宽度的网络即可记忆 N 个样本，与 N 无关。然而，所需的构造通常相当精细。在本文中，我们考虑了前馈 ReLU 神经网络能够多鲁棒地记忆的自然问题，即能够在给定半径的对抗扰动下保持稳定。我们为一般的 范数建立了可能半径的上下界，这意味着（在其他方面之一）输入样本数量的对数宽度是实现鲁棒记忆所必需且充分的（鲁棒半径与 N 无关）。
引用
@article{arxiv.2502.11162,
title = {Logarithmic Width Suffices for Robust Memorization},
author = {Amitsour Egosi and Gilad Yehudai and Ohad Shamir},
journal= {arXiv preprint arXiv:2502.11162},
year = {2025}
}