学习随机标签预测：一种神经网络复杂度度量方法
机器学习
2024-12-02 v1
摘要
我们实证研究了在监督学习中并行学习随机生成标签对记忆、模型复杂度和泛化能力的影响。为此，我们引入一种多头网络架构作为标准CNN架构的扩展。受公平AI方法启发，我们的方法允许对随机标签进行“遗忘”，从而防止网络对单个样本进行记忆。基于Rademacher复杂度，我们首先将所提方法用作复杂度度量，以分析常见正则化技术的效果，并挑战了CNN中特征提取与分类传统理解的传统观点。其次，我们提出一种新型正则化器，有效降低样本记忆。然而，尽管经典统计学习理论预言，实验结果并未观察到泛化能力的提升。
关键词
引用
@article{arxiv.2411.19640,
title = {Learned Random Label Predictions as a Neural Network Complexity Metric},
author = {Marlon Becker and Benjamin Risse},
journal= {arXiv preprint arXiv:2411.19640},
year = {2024}
}