利用亚线性参数通过深度神经网络实现可证明的记忆化
机器学习
2021-11-03 v2
摘要
已知 个参数足以让神经网络记忆任意 个输入-标签对。通过利用深度，我们证明在输入点分离性的温和条件下， 个参数足以记忆 对。特别地，更深层的网络（即使宽度为 ）被证明比浅层网络能记忆更多的对，这也与近期关于深度对于函数逼近益处的一系列工作相一致。我们还提供了支持我们理论发现的实验结果。
引用
@article{arxiv.2010.13363,
title = {Provable Memorization via Deep Neural Networks using Sub-linear Parameters},
author = {Sejun Park and Jaeho Lee and Chulhee Yun and Jinwoo Shin},
journal= {arXiv preprint arXiv:2010.13363},
year = {2021}
}