身份危机：极端过参数化下的记忆与泛化
机器学习
2020-01-10 v4 人工智能
机器学习
摘要
我们研究在单一训练样本与恒等映射任务的极端情形下，过参数化网络的记忆与泛化之间的相互作用。我们考察全连接与卷积网络（FCN 与 CNN），包括线性与非线性、随机初始化后训练以最小化重构误差的情况。训练后的网络典型地呈现两种形式之一：常数函数（记忆）与恒等函数（泛化）。我们形式化刻画了单层 FCN 与 CNN 中的泛化。我们通过实验表明不同架构展现出惊人不同的归纳偏置。例如，多达 10 层的 CNN 能够从单个样本泛化，而 FCN 即便从 60k 个样本也无法可靠地学习恒等函数。更深的 CNN 常失败，但仍做出惊人的工作来记忆训练输出：因为 CNN 的偏置具有位置不变性，模型必须通过许多层的协调从图像边界逐步生成输出模式。我们的工作有助于量化并可视化归纳偏置对深度、核宽度与通道数等架构选择的敏感性。
引用
@article{arxiv.1902.04698,
title = {Identity Crisis: Memorization and Generalization under Extreme Overparameterization},
author = {Chiyuan Zhang and Samy Bengio and Moritz Hardt and Michael C. Mozer and Yoram Singer},
journal= {arXiv preprint arXiv:1902.04698},
year = {2020}
}
备注
ICLR 2020