AdaCap：前馈神经网络的自适应容量控制
机器学习
2022-05-18 v1
摘要
机器学习模型的容量指的是该模型能够近似的函数范围。它既影响模型能学习的模式复杂性，也影响其记忆能力，即模型拟合任意标签的能力。我们提出了自适应容量（AdaCap），这是一种用于前馈神经网络（FFNN）的训练方案。AdaCap 优化 FFNN 的容量，使其能够捕捉手头问题背后的高层抽象表征，而无需记忆训练数据集。AdaCap 结合了两个新颖的组成部分：用于正则化的混淆标签（MLR）损失和 Tikhonov 算子训练方案。MLR 损失利用随机生成的标签来量化模型记忆的倾向。我们证明了 MLR 损失是样本外泛化性能的准确样本内估计量，并且在满足信噪比条件的情况下可用于执行超参数优化。Tikhonov 算子训练方案以自适应、可微分且数据依赖的方式调节 FFNN 的容量。我们在深度神经网络通常容易记忆的场景（小型表格数据集）中评估了 AdaCap 的有效性，并将其性能与流行的机器学习方法进行了基准测试。
引用
@article{arxiv.2205.07860,
title = {AdaCap: Adaptive Capacity control for Feed-Forward Neural Networks},
author = {Katia Meziani and Karim Lounici and Benjamin Riu},
journal= {arXiv preprint arXiv:2205.07860},
year = {2022}
}